Kentino AI 128 Rome 5090 6704TOPS — 4× RTX 5090 Blackwell AI-server
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 128 Rome 5090 6704TOPS
128 GB VRAM Blackwell-inferensserver
4x RTX 5090 | EPYC Milan | 6 704 TOPS INT8
Fyra Blackwell RTX 5090 med native fp8/fp4-tensorvägar. Rome-plattformens 4-GPU-bygge med högst genomströmning.
En 4U-rackmonterad inferensserver med fyra GeForce RTX 5090 som tillsammans ger 128 GB VRAM, en AMD EPYC 7643 Milan-processor (48C/96T), 512 GB DDR4 ECC (alla 8 DIMM-platser bestyckade för maximal bandbredd), 2 TB NVMe som systemdisk och dubbla synkroniserade 2 kW ATX-nätaggregat. Kör vLLM, SGLang, llama.cpp och ComfyUI med Blackwell-native fp8- och MXFP4-inferenskärnor.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 4x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W, PCIe 5.0 x16) |
| VRAM-pool | 128 GB totalt fördelat på 4 kort (ingen NVLink på konsumentkortet 5090) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0-banor) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systemminne | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — alla DIMM-platser bestyckade) |
| Systemdisk / lagring | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | Dubbla 2 kW ATX-nätaggregat med synkkabel + 12VHPWR-adaptersats |
| Chassi | 4U-rackmontering, 4x GPU, passiva PCIe 4.0 x16-risers |
| Kylning | Arctic Freezer 4U-M SP3-tornkylare + 3x 120 mm intagsfläktar fram + 1x 120 mm utblåsfläkt bak |
| Nätverk | Integrerat dubbelt 10 GbE (Intel X550) |
Effektbudget
- GPU-förbrukning: 4 x 575 W = 2 300 W
- Systemets totala förbrukning vid full last: ~2 650 W
- Nätaggregat totalt: 4 000 W (dubbla 2 kW synkade) — 33.8 % marginal
- Dubbla nätaggregat för delad strömförsörjning — varje nätaggregat försörjer en del av systemet
PCIe-topologi
ROMED8-2T fördelar 128 PCIe Gen4-banor från EPYC-processorn direkt till sju x16-platser; fyra av dem är bestyckade med GPU:er på Gen4 x16. Ingen PCIe-switch. Ingen NVLink på konsumentkortet 5090 — kommunikationen mellan GPU:erna sker peer-to-peer. Korten är Gen5-native; Rome begränsar till Gen4.
Vad du kan köra
Med 128 GB samlat VRAM och Blackwell-native fp8-tensorvägar tar den här servern steget upp till Qwen3-235B-A22B Q4 och gpt-oss-120b MXFP4 med verkligt KV-utrymme — bortom vad 4x RTX 4090 klarar.
LLM:er — text / resonemang / kodning
Kinesiska frontiermodeller
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q3-Q4 (~112-132 GB) ryms i 128 GB-poolen med 8-16k ctx — huvudkonfigurationen; Qwen3-32B dense bf16 (~65 GB) med massivt KV-utrymme; Qwen3-Coder-30B-A3B agentisk vid 1M ctx; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB); QwQ-32B bf16 för resonemang
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 fp8-native Q2 (~215 GB) med RAM-avlastning över 512 GB värdminne — genomförbart för batch; DeepSeek-R2 32B bf16 i flera strömmar (4 samtidiga, en per kort)
- GLM / Z.ai: GLM-4.5-Air 106B/12B fp8 (~106 GB) eller Q6 med god marginal; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) snävt med MoE-avlastning
- Tencent Hunyuan: Hunyuan-A13B fp8 native (~80 GB) — Blackwell kör fp8 utan uppkonverteringsstraff; Hunyuan-Large Q2 med RAM-avlastning
- ByteDance Seed-OSS-36B bf16 med 512k native; ERNIE-4.5-424B Q2 (~150 GB med avlastning)
Västerländska frontiermodeller
- Meta Llama: Llama 3.3 70B Q4 över 4x 5090 (~30-40 tok/s enkelström, ~270+ tok/s batch-32 vLLM); Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB); Llama 4 Maverick 400B/17B Q3 (~188 GB med avlastning)
- Mistral: Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 i flera strömmar; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
- OpenAI (öppna vikter): gpt-oss-120b MXFP4 native (80 GB) med verkligt KV-utrymme och lång kontext — Blackwells paradarbetsbelastning; gpt-oss-20b MXFP4
- Google Gemma 3: 27B multimodal bf16 (~54 GB) i två samtidiga strömmar; 12B / 4B
- Microsoft Phi-4 14B dense bf16; Phi-4-reasoning destillerad
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) snävt; Super 49B bf16 (~98 GB)
- Övriga: Cohere Command R+ 104B Q6 (~85 GB); Molmo 72B Q6-bf16 VLM; OLMo 2 32B; IBM Granite 4.0 H-Small
Vision-språkmodeller
Qwen3-VL-235B-A22B Q3-Q4; Qwen3-VL-32B bf16; InternVL3.5-241B-A28B Q4 (~135 GB, snävt); InternVL3 78B bf16; Llama 3.2 90B Vision Q6 (~74 GB); Pixtral Large 124B Q6 (~88 GB); Molmo 72B Q6/bf16; Gemma 3 27B multimodal bf16; GLM-4.6V 106B fp8.
Bildgenerering
FLUX.1 [dev] bf16 och fp8 (~10-18 s/bild vid fp8); FLUX.1 Kontext [dev]; SD 3.5 Large bf16; HunyuanImage-2.1 bf16 och Q4; HunyuanImage-3.0 base (80B MoE, 13B aktiva) bf16 (~80 GB, paradexemplet); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videogenerering
Wan 2.2 MoE med två experter bf16 (~54 GB, full ctx); Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 med båda experterna (~60-80 GB); HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16 (~24 GB); Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Ljud / tal / TTS
- ASR: Whisper v3 large / turbo (~50x realtid); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtid / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Musik / ljudeffekter: MusicGen / AudioGen / Bark; SeamlessM4T v2
Drift av flera modeller och för flera kunder
- 200B MoE vid Q4 med batchinferens (Qwen3-235B, GLM-4.5/4.6/4.7-Air) för 8-16 samtidiga användare
- fp8-native frontiermodeller — DeepSeek V3-familjen, Hunyuan-Large fp8 med Blackwell-native vägar
- Blandad stack samtidigt i minnet: gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi på partitionerat VRAM
- 70B med hög genomströmning — tensorparallell vLLM / SGLang med 200+ tok/s sammanlagt i batch
Målarbetsbelastningar
- Produktionsdrift av 200B+ MoE vid Q3-Q4 med verkligt KV-utrymme (Qwen3-235B, GLM-4.5-Air 106B)
- fp8-native inferens på frontiermodeller (DeepSeek V3/R1 fp8, Hunyuan fp8) — Blackwell kör utan uppkonvertering
- 70B-drift med hög genomströmning — tensorparallell batch via vLLM eller SGLang
- Videogenereringsstudio i bf16 (Wan 2.2 dual-expert, HunyuanVideo 13B, Mochi-1)
- Blandad arbetsbelastning för flera kunder — 120B MoE + bildgenerering + röst i realtid, allt samtidigt i minnet
Uppmätt prestanda
Publicerade referenser | NVIDIA RTX 5090-datablad + communitybenchmarks
| Benchmark | Resultat |
|---|---|
| INT8 TOPS per kort (NVIDIA-datablad) | 1 676 TOPS |
| Sammanlagda INT8 TOPS (4 kort) | 6 704 TOPS |
| Minnesbandbredd per kort | ~1 792 GB/s |
| Llama 3.3 70B Q6 via vLLM (community) | 60-90 tok/s enkelström, 300+ tok/s batch |
| Qwen3-235B-A22B Q3-Q4 | Ryms i 128 GB-poolen med 8-16k ctx |
| gpt-oss-120b MXFP4 native | 80 GB — gott om KV-utrymme |
Publicerade externa referenser, ej uppmätta på Kentinos hårdvara. Kentino publicerar egna siffror efter det första kundbygget.
Mindre lämpad för
- Frontiermodeller på 400B+ vid Q4 (Kimi-K2, Mistral Large 3, Intern-S1-Pro — kräver 8 GPU:er eller 6x RTX Pro 6000)
- Arbetsbelastningar som är känsliga för PCIe Gen5-länken — välj Genoa-varianten för native Gen5 x16
- Träning från grunden (ingen NVLink på konsumentkortet 5090)
- ECC-känslig produktion dygnet runt — konsumentkortet 5090 saknar ECC; välj hellre L40 eller RTX Pro 6000 Server Edition
Garanti och leveranstid
Bygget omfattar montering, BIOS-konfiguration, installation av drivrutiner, inbränningstest och funktionsverifiering. Leveranstiden beror på komponenttillgången och bekräftas vid beställning.
Rekommenderade tillval
- Uppgradera till dubbla 2.5 kW-nätaggregat (FSP) för ihållande värsta fall med bf16 + video — rekommenderas för drift dygnet runt
- 4 TB NVMe för modellbibliotek + mellanlagring av MoE-vikter
- Öppet 24U-skåp för driftsättning av flera servrar
- Överväg Genoa-plattformsvarianten (på begäran) för Gen5 x16-länk
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.