Kentino AI 768 TurinDual RTXPro6000MQ 16000TOPS — 8× RTX Pro 6000 Blackwell Max-Q AI Frontier-server (Dual Turin)
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 768 TurinDual RTXPro6000MQ 16000TOPS
768 GB ECC VRAM – frontier-flaggskepp
8x RTX Pro 6000 Max-Q | Dubbla EPYC Turin | 16 000 TOPS INT8
CPU-priset fastställs vid beställning — marknaden för Turin 9005-serien rör sig varje vecka under Q2 2026.
Publicerade externa referenser. Ej uppmätt på Kentinos hårdvara.
Toppen av Kentinos AI-serversortiment. En 7U rackmonterad flaggskeppsplattform för inferens i frontier-klass med åtta NVIDIA RTX Pro 6000 Blackwell Max-Q-kort med turbofläkt, sammanslagna till 768 GB ECC VRAM, två AMD EPYC Turin-processorer ur 9005-serien (Zen5c, SP5), 1.5 TB DDR5-4800 ECC (alla 24 kanaler bestyckade), 4 TB NVMe för boot och 5x 1200 W servernätaggregat. PCIe Gen5 hela vägen. DeepSeek V3 fp8 nativt (~670 GB) direkt på korten. Kimi-K2 Q4-Q5. 4 modeller i frontier-klass laddade samtidigt.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 8x NVIDIA RTX Pro 6000 Blackwell Max-Q 96 GB ECC (turbofläkt, 600 W TDP enligt spec, PCIe 5.0 x16, 2000 INT8 TOPS/kort, fp8 nativt) |
| VRAM-pool | 768 GB totalt över 8 kort (ingen NVLink — P2P över PCIe Gen5 med ~55-60 GB/s inom sockeln, mellan socklarna via CPU-interconnect) |
| CPU | 2x AMD EPYC Turin 9005-serien (Zen5c, SP5, PCIe 5.0) — offert pågår, exakt SKU bekräftas vid beställning |
| Moderkort | ASRock Rack TURIN2D24XGM/500W (dubbla SP5 Turin, PCIe 5.0, 24x DDR5, 2x 10 GbE, IPMI) |
| System-RAM | 1.5 TB DDR5-4800 ECC RDIMM (24x 64 GB — alla 24 kanaler bestyckade, ~920 GB/s sammanlagt) |
| Boot / lagring | 4 TB NVMe M.2 (PCIe 4.0 x4) — dimensionerad för frontier-checkpoints |
| Nätaggregat | 5x 1200 W servernätaggregat (totalt 6 kW) |
| Chassi | 7U rackmontering för 8 GPU:er, kapacitet för 10 PCIe-platser, aktiva Gen5-risers |
| Kylning | 2x SP5 Turin-tornkylare + 8x 120 mm Martech-chassifläktar. Självständiga turbofläktar per GPU. |
| Nätverk | Inbyggt dubbelt 10 GbE (Intel X550) |
Effektbudget
- GPU-förbrukning (spec): 8 x 600 W = 4 800 W
- CPU-förbrukning: 2 x 360 W = 720 W (uppskattning för Turin i mellanklassen)
- Systemtotal vid full last enligt spec: ~5 720 W
- Nätaggregat totalt: 6 000 W — ~4.7% rå marginal enligt spec
- I praktiken: Max-Q håller 520-550 W vid inferens, vilket höjer den varaktiga marginalen till ~20%+
- Effekttak via firmware på 520 W finns för garanterad marginal
Lane-topologi
Dubbla Turin ger 2x 128 PCIe Gen5-lanes. TURIN2D24XGM/500W ansluter 8 GPU-platser direkt till processorerna med Gen5 x16 via aktiva risers — 4 platser per CPU-rot. Ingen PCIe-switch i GPU-vägen — ren topologi med dubbla rötter. NUMA-optimering krävs för optimal peer-to-peer mellan socklarna. Ingen NVLink; P2P med ~55-60 GB/s per riktning inom sockeln.
Vad du kan köra
Med 768 GB sammanslaget ECC VRAM — toppen av Kentinos sortiment — kör den här servern DeepSeek V3 fp8 nativt (~670 GB) direkt på korten, Kimi-K2 Q4-Q5 (~630 GB) med god marginal, och det avgörande användningsfallet: 4 modeller i frontier-klass laddade samtidigt för produktionsdrift med flera kunder (multi-tenant).
LLM:er — text / resonemang / kodning
Kinesisk frontier med produktionskvantisering
- Kimi-K2 (Base / Instruct / Thinking) med Q4_K_M / Q5_K_M (~630 GB) med god marginal (~15-25 tok/s enkel, publicerad referens) — kinesiskt frontier-flaggskepp i en enda maskin med produktionskvantisering
- DeepSeek V3 / R1 / V3.1 / V3.2 med fp8 nativt (~670 GB) direkt på korten (~30-50 tok/s enkel, publicerad referens) — Blackwells fp8-tensorkärnor kör detta nativt i full fart
- DeepSeek V3 med Q4_K_M (~404 GB) med flera samtidiga serving-instanser med stora batcher
- GLM-5 / GLM-5.1 (~745B/44B) med Q3-Q4 (~420-560 GB) med god marginal på korten
- Intern-S1-Pro (1T/22B aktiva, SAGE) med Q3-Q4 (~440-580 GB) med god marginal
- Qwen3-Coder-480B-A35B med Q5-Q6 (~340-400 GB) med 1M ctx
- Qwen3-235B-A22B med bf16 (~470 GB) med generöst KV för lång kontext
- ERNIE-4.5-424B-A47B med Q6 (~360 GB); Hunyuan-Large med fp8 (~390 GB)
- MiniMax-Text-01 / M1 med Q5-Q6 (~325-390 GB)
Västerländsk frontier med produktionskvantisering
- Mistral Large 3 (675B/41B MoE, Apache 2.0) med Q3-Q4 (~317-404 GB) med god marginal (~20-30 tok/s enkel, publicerad referens)
- Llama 4 Maverick (400B/17B, 128 experter) med Q5-Q6 (~290-350 GB)
- Llama-3.1-Nemotron Ultra 253B med bf16 (~506 GB) direkt på korten
- Snowflake Arctic med Q5-Q6 (~350-420 GB); Grok-1 med Q5-Q6 (~225-270 GB)
- DBRX Instruct 132B/36B med bf16 (~264 GB) i flera instanser
Vision-språkmodeller
Qwen3-VL-235B-A22B, flaggskepps-VLM med lång kontext; InternVL3.5-241B-A28B med bf16 (~482 GB); GLM-4.5V / 4.6V 106B bf16 i flera instanser; Llama 3.2 90B Vision bf16 i flera instanser; Pixtral Large 124B bf16; Molmo 72B bf16 i flera instanser.
Bildgenerering
HunyuanImage-3.0 Instruct i samtidiga instanser; FLUX.1 i flera instanser (~15-20 s per 1024x1024-bild, publicerad referens); SD 3.5 Large; SDXL; AuraFlow; OmniGen; HunyuanImage-2.1; Kolors 2.0 — hela den kinesiska och västerländska bildstacken laddad samtidigt.
Videogenerering
Wan 2.2 T2V-A14B / I2V-A14B — många samtidiga strömmar; HunyuanVideo 13B bf16 med flera samtidiga strömmar; Open-Sora 2.0 (11B) i flera instanser; Mochi-1 (10B) i flera instanser; NVIDIA Cosmos Predict 2 upp till 14B.
Ljud / tal / TTS
Hela stacken laddad i batch: Whisper v3 large, Parakeet-TDT, Canary 1B, Moshi 7B i realtid, Qwen3-Omni, Step-Audio R1, CosyVoice 3.0, Kokoro, Stable Audio Open.
Multimodell- och multi-tenant-serving (det avgörande användningsfallet)
- Frontier i produktion för flera kunder: 4 modeller i frontier-klass laddade samtidigt — t.ex. DeepSeek V3 fp8 + Kimi-K2 Q4 + Mistral Large 3 Q3 + Qwen3-Coder-480B Q5 — med partitionerat VRAM och SLO per kund
- Samtidig fp8-nativ Blackwell-inferens (DeepSeek V3 / R1-familjen, Hunyuan fp8) + kvantiserad serving på separata PCIe-domäner
- A/B-forskning över 4-5 öppna frontier-modeller med kvantisering i forskningsklass
- Agentplattform med en primär modell på 400B+ och flera specialister på 30-70B laddade
Målarbetsbelastningar
- Produktionsdrift av öppna frontier-modeller för flera kunder — flera frontier-modeller laddade samtidigt med isolering per kund
- Suverän frontier-AI-driftsättning — on-prem-åtkomst till DeepSeek V3 fp8 / Kimi-K2 / Mistral Large 3, datalagring inom EU
- Frontier-forskningslabb med A/B-utvärdering över 4+ öppna frontier-modeller med kvantisering i forskningsklass
- Agentplattform för företag där en MoE på 400B+ styr verktyg + flera specialistmodeller
- Luftgapad inferens i frontier-skala för reglerade branscher med ECC + PCIe Gen5
Publicerade prestandareferenser
Externa referenser | Ej uppmätt på Kentinos hårdvara
| Benchmark | Resultat |
|---|---|
| RTX Pro 6000 INT8 TOPS per kort | 2 000 TOPS |
| vLLM — DeepSeek V3 fp8 på 8x RTX Pro 6000 (enkel) | ~30-50 tok/s |
| vLLM — DeepSeek V3 fp8 på 8x RTX Pro 6000 (batch-32) | 300-500 tok/s sammanlagt |
| Kimi-K2 Q4-serving på 8x RTX Pro 6000 (enkel) | ~15-25 tok/s |
| FLUX.1 [dev] fp8 på ett enda RTX Pro 6000 | ~15-20 s per 1024x1024-bild |
Exakta siffror bekräftas i PoC-fasen. Kentino publicerar egna siffror efter det första kundbygget.
Inte idealisk för
- Budgetmedvetna installationer — flaggskepps-SKU till flaggskeppspris
- Träning från grunden av modeller i frontier-klass — ingen NVLink, endast PCIe P2P (för träning i den här skalan är H100/H200 SXM eller GB200 NVLink-fabric rätt verktyg)
- Plug-and-play-driftsättning — MoE-serving i frontier-klass för flera kunder kräver ett kunnigt MLOps-team
Garanti och leveranstid
Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränning, memtest, funktionsverifiering, NUMA-optimering och uppsättning av LLM-miljö (vLLM / SGLang / llama.cpp / CUDA 13-stack med fp8 Blackwell-kärnor). Leveranstiden beror på komponenttillgång och bekräftas vid beställning.
Rekommenderade tillval
- NVIDIA ConnectX-5 MCX555A-ECAT eller ConnectX-7 Gen5 100 GbE NIC för utskalning över flera noder
- Mellanox ConnectX-6 25 GbE SFP28 för datacenter-fabric
- Ytterligare 4 TB NVMe för dataset / modellbibliotek (frontier-checkpoints är stora — Kimi-K2 bf16 ensam är ~1 TB)
- Komplett 24U-rackskåp med perforerad framdörr och styrd PDU
- Online-UPS 10 kVA (kontrollerad avstängning vid strömavbrott)
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.