Kentino AI 256 TurinDual 5090 — 8× RTX 5090, flaggskepp med dubbla socklar och Zen5c
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 256 TurinDual 5090 13408TOPS
Flaggskeppsserver för inferens med 256 GB VRAM
8x RTX 5090 | Dubbla EPYC Turin | 13 408 TOPS INT8
CPU-priset fastställs vid beställning — marknaden för Turin 9005-serien rör sig varje vecka under Q2 2026.
Publicerade externa referenser. Ej uppmätt på Kentinos hårdvara.
En 7U rackmonterad flaggskeppsserver för inferens med åtta GeForce RTX 5090 (32 GB GDDR7, Blackwell, nativt fp8) på en EPYC Turin-plattform med två sockets (Zen5c, SP5), 768 GB DDR5-4800 ECC över alla 12 kanaler, 2 TB NVMe-boot och 5x 1200 W servernätaggregat. PCIe Gen5 hela vägen till GPU:n via aktiva retimer-/redriver-risers. Kör vLLM, SGLang, llama.cpp, ComfyUI och alla större inferensstackar för öppna vikter direkt ur lådan.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 8x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W TGP, PCIe 5.0 x16, nativt fp8, 1676 INT8 TOPS/kort) |
| VRAM-pool | 256 GB sammanlagt över 8 kort (ingen NVLink på konsumentkortet RTX 5090) |
| CPU | 2x AMD EPYC Turin 9005-serien (Zen5c, SP5, PCIe 5.0) — offereras vid beställning |
| Moderkort | ASRock Rack TURIN2D24XGM/500W (dubbla SP5, PCIe 5.0, 24x DDR5 DIMM) |
| Systemminne | 768 GB DDR5-4800 ECC RDIMM (12x 64 GB — alla 12 kanaler populerade; 12 platser kvar för uppskalning till 1.5 TB) |
| Boot / lagring | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | 5x 1200 W servernätaggregat (HP-kompatibla, 6 kW sammanlagt) |
| Chassi | 7U för 8 GPU:er (upp till 10 PCIe-platser, separata nätaggregatfack) |
| Kylning | 2x SP5-towerkylare + luftflöde fram-till-bak för rack (industrifläktar) |
| Risers | 8x aktiva PCIe Gen5 x16 (retimer/redriver) — Gen5 hela vägen |
| Nätverk | Inbyggt 10 GbE (beroende på moderkort) |
Effektbudget
- GPU-förbrukning: 8 x 575 W = 4 600 W
- Systemets totala förbrukning vid full last: ~5 520 W
- Nätaggregat totalt: 6 000 W (5x 1200 W) — 8% marginal enligt specifikation
- Kentino levererar med GPU-effektbegränsning på 500 W — totalen sjunker till ~4 920 W (~15% marginal)
Topologi för PCIe-banor
Dubbla Turin ger 2x 128 = 256 PCIe Gen5-banor på värdsidan. Aktiva Gen5-risers bär Gen5 x16 hela vägen till varje GPU — ingen PCIe-switch krävs (en CPU per bank om 4 kort). Ingen NVLink; P2P mellan GPU:er på Gen5 x16 (~60 GB/s nominellt per länk).
Vad du kan köra
Med 256 GB poolat VRAM över 8 Blackwell-kort med nativt fp8 siktar den här servern på frontier-MoE-modeller på 235-480B i Q4 med verklig kontext, DeepSeek V3-familjen i Q2 och Kimi-K2 med 1.58-bitars dynamisk kvantisering vid verklig genomströmning.
LLM:er — text / resonemang / kodning
Kinesiska frontiermodeller
- Qwen3-235B-A22B (Instruct / Thinking / "2507") Q4 (~132 GB) med lång kontext + batchning för flera användare (~25-40 tok/s enkelström på 8x RTX 5090, publicerad referens)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — flaggskepp för resonemang/kodning, 200k ctx på 4.6+
- GLM-5 / GLM-5.1 Q2 (~260 GB) med mindre RAM-spill — frontierkodning i nivå med Claude Opus 4.6
- DeepSeek V3 / R1 / V3.1 / V3.2 / V3.2-Speciale Q2 (~215 GB) med användbar inferenshastighet (~28 tok/s enkelström på 8x Blackwell, publicerad referens)
- Kimi-K2 1.58-bit UD-TQ1_0 (~240 GB) — agent med en biljon parametrar vid verklig tokengenomströmning (~7-10 tok/s enkelström, publicerad referens)
- Hunyuan-Large 389B/52B MoE Q4 (~220 GB); ERNIE-4.5-424B-A47B Q4 (~240 GB)
- Qwen3-Coder-480B-A35B Q4 (~270 GB, snävt med RAM-spill) — SOTA-flaggskepp för öppen kodning
- MiniMax-M1 / Text-01 Q4 (~260 GB) 1M kontext; Qwen3.5-397B-A17B Q4 (~214 GB)
Västerländska frontiermodeller
- Mistral Large 3 (675B/41B MoE, Apache 2.0) Q3 (~317 GB med spill) — västerländsk frontiermodell med öppna vikter
- Llama 4 Maverick (400B/17B, 128 experter) Q4 (~232 GB) multimodal
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB) — matchar DeepSeek-R1 vid halva storleken
- gpt-oss-120b MXFP4 nativt (80 GB) bekvämt, med plats för flera modeller
- Devstral 2 123B (Modified MIT) Q6 — toppklass inom öppen kodning, 256k ctx
- Llama 3.3 70B bf16 (~142 GB) servering för flera användare (~30-40 tok/s enkelström per RTX 5090-par TP2, publicerad referens)
Vision-språkmodeller
Qwen3-VL-235B-A22B full bf16 (~240 GB på korten); InternVL3.5-241B-A28B (~135 GB Q4); Llama 3.2 90B Vision bf16; Pixtral Large 124B bf16 (~248 GB, snävt); Qwen3-Omni-30B-A3B; Molmo 72B; ERNIE-4.5-VL; GLM-4.6V full. Blackwells fp8-väg ger ~2x genomströmning vid inferens i vision-tornet jämfört med Ada.
Bildgenerering
FLUX.1 [dev] / Kontext / Tools full bf16 (~10-18 s/bild i fp8 per kort, publicerad referens); SD 3.5 Large; HunyuanImage-2.1 (17B, nativ 2K); HunyuanImage-3.0 80B/13B MoE; AuraFlow; OmniGen; ComfyUI-farmer med flera workers.
Videogenerering
Wan 2.2 T2V-A14B / I2V-A14B med dubbla experter i bf16 (både high-noise och low-noise inlästa samtidigt); HunyuanVideo 13B bf16 med båda experterna; Open-Sora 2.0 (11B) bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ljud / tal / TTS
- ASR: Whisper v3 large / turbo (~50x realtid); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Realtid / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
- Musik / SFX: MusicGen; AudioGen; Bark; SeamlessM4T v2
Servering av flera modeller för flera användare
- Gateway för frontierinferens — 200B+ MoE + samtidig 70B + bild + video, alla inlästa
- 8-vägs tensorparallellism för Kimi-K2 / DeepSeek V3 med verklig kontext
- LLM-API för flera användare — 50-100 samtidiga användare på 235B Q4 via vLLM/SGLang
- Kinesiska och västerländska frontiermodeller inlästa samtidigt för utvärdering / benchmarking
Typiska arbetsbelastningar
- Backend för frontierinferens med öppna vikter för en organisation med 100-500 användare, med en mix av Qwen3-235B, GLM-4.5+ och DeepSeek V3 Q2
- Agentplattform med Kimi-K2 1.58-bit vid produktionsgenomströmning (verktygsanrop, 200+ sekventiella anrop)
- Servering av DeepSeek V3 / R1 helt i fp8 på Blackwell-kisel
- Huvudnod för träning över flera noder med Gen5 100 GbE / InfiniBand-nätverk
- Kombinerad inferens- och diffusionsfarm (Qwen3-235B + FLUX.1 + HunyuanVideo 13B samtidigt)
Publicerade prestandareferenser
Externa referenser | Ej uppmätt på Kentinos hårdvara
| Benchmark | Resultat |
|---|---|
| RTX 5090 INT8 TOPS per kort | 1 676 TOPS |
| Minnesbandbredd för RTX 5090 | ~1 800 GB/s per kort |
| vLLM — Qwen3-235B Q4_K_M på 4x RTX 5090 (enkel) | ~90 tok/s |
| vLLM — Qwen3-235B Q4_K_M på 4x RTX 5090 (batch-32) | ~450 tok/s sammanlagt |
| SGLang — DeepSeek V3 Q2 på 8x Blackwell (enkel) | ~28 tok/s |
| llama.cpp — Kimi-K2 UD-TQ1_0 på 8x Blackwell 256 GB | ~7-10 tok/s |
Kentino publicerar egna tok/s-värden efter det första kundbygget med slutlig Turin-SKU.
Mindre lämplig för
- Budgetmedvetna installationer (Turin-premie jämfört med Genoa- eller Rome-alternativ)
- Täta 70B-arbetsbelastningar för en enda användare (överdimensionerat — 4x RTX 5090 eller 4x RTX Pro 6000 är rätt nivå)
- Frontier 600B+ i Q4+ med full kontext (kräver en pool på 576 GB+ — se 6x RTX Pro 6000)
- Långvarig träning från grunden (ingen NVLink på konsumentkortet RTX 5090)
Garanti och leveranstid
Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering. Leveranstiden beror på komponenternas tillgänglighet och bekräftas vid beställning.
Rekommenderade tillägg
- Utöka RAM till 1.5 TB DDR5 (24x 64 GB, fullt populerat) — krävs för Kimi-K2 Q4 eller DeepSeek V3 Q3 utan RAM-spill
- NVIDIA ConnectX-5 100 GbE MCX555A-ECAT — Gen5-nätverk för klusternoder
- Mellanox ConnectX-6 25 GbE SFP28 för datacenternätverk
- 4 TB NVMe Gen4 x4 för boot + modellbibliotek
- Komplett 24U-rackskåp med hanterad PDU
- Online-UPS 8-10 kVA (kritiskt — 5.5 kW toppförbrukning)
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.