Kentino AI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB ECC VRAM)
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 384 Rome RTXPro6000 8000TOPS
384 GB ECC VRAM-datacenterserver
4x RTX Pro 6000 Server Edition | EPYC Milan | 8 000 TOPS INT8
Publicerade externa referenser. Ej uppmätt på Kentinos hårdvara.
En rackmonterad 4U-inferensserver med fyra passiva NVIDIA RTX Pro 6000 Blackwell Server Edition-datacenterkort (96 GB ECC vardera) som tillsammans ger 384 GB ECC VRAM, en AMD EPYC 7643 Milan-CPU (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe-boot och två synkroniserade 2.5 kW ATX-nätaggregat. Blackwell-kisel med nativ fp8-acceleration. Passiv kylning med riktat luftflöde för datacenterchassin. Kör DeepSeek V3 Q3, Mistral Large 3, Qwen3-Coder-480B och alla större ledande open-weight-modeller.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 4x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (passiv datacenterkylare, 600 W TGP, PCIe 5.0 x16, 2000 INT8 TOPS/kort, nativ fp8) |
| VRAM-pool | 384 GB sammanlagt ECC över 4 kort |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0-lanes) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| System-RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB – 2 DIMM-platser lediga för uppgradering till 512 GB) |
| Boot / lagring | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | 2x 2.5 kW ATX med synkkabel för dubbla nätaggregat (5 kW sammanlagt) |
| Chassi | 4U rackmonterat |
| Kylning | SP3-tornkylare (Arctic Freezer 4U-M-klass) + riktat luftflöde fram-till-bak (3x 120 mm intag fram + 1x 120 mm utblås bak). Passiva GPU-kort – kräver luftflöde från ett datacenterchassi. |
| Nätverk | Inbyggt dubbelt 10 GbE (Intel X550) |
Effektbudget
- GPU-förbrukning: 4 x 600 W = 2 400 W
- Systemet totalt under full last: ~2 775 W
- Nätaggregat totalt: 5 000 W (dubbla 2.5 kW synkade) – 44.5% marginal
- Dubbla nätaggregat för delad strömförsörjning – fel på ett nätaggregat = förlust av 2 GPU:er eller 2 GPU:er + moderkort
Lane-topologi
ROMED8-2T exponerar 7x PCIe 4.0 x16 direkt från EPYC Milan. Fyra platser används – tre är lediga för NIC / lagring / telemetri. RTX Pro 6000 är Gen5-kapabelt kisel; kör Gen4 med full x16 på den här plattformen – ingen bandbreddsflaskhals för inferens. Ingen PCIe-switch. Ingen NVLink.
Vad du kan köra
Med 384 GB poolat ECC VRAM på Blackwell-kisel med nativ fp8 kör servern DeepSeek V3 / R1 i Q3 bekvämt på korten, Mistral Large 3 Q3, GLM-5 Q3, Qwen3-Coder-480B Q3 samt Llama 3.3 70B bf16 helt på ett enda kort (96 GB/kort).
LLM:er – text / resonemang / kodning
Kinesisk frontlinje
- DeepSeek V3 / V3-0324 / V3.1 / V3.2 / R1 / R1-0528 Q3 (~290 GB) bekvämt på korten (~30-40 tok/s enkel, publicerad referens); nativ fp8 (~670 GB) med RAM-spill
- Qwen3-Coder-480B-A35B Q3 (~350 GB, snävt med RAM-spill) – SOTA öppen kodagent (~18-25 tok/s enkel, publicerad referens)
- Qwen3-235B-A22B Q6/Q8 (~200-280 GB) med mycket lång kontext och batchning för flera användare
- GLM-5 / GLM-5.1 Q3 (~317 GB) – kinesisk frontlinje, nära Claude Opus 4.6 på kodning
- Kimi-K2 1.58-bit UD (~240 GB) – agent med en biljon parametrar i verklig genomströmning
- Hunyuan-Large 389B/52B Q4 (~220 GB), nativ fp8 (~390 GB spill)
- ERNIE-4.5-424B-A47B Q4 (~240 GB); MiniMax-M1 Q4 (~260 GB) 1M kontext
- Llama 3.3 70B bf16 helt på ett enda kort (96 GB/kort – ingen tensorparallellism behövs)
Västerländsk frontlinje
- Mistral Large 3 (675B/41B MoE, Apache 2.0) Q3 (~317 GB) – ledande västerländska öppna vikter (~20-30 tok/s enkel, publicerad referens)
- Llama 4 Maverick (400B/17B) Q4 (~232 GB) med generös KV-budget (~45-55 tok/s enkel, publicerad referens)
- Llama-3.1-Nemotron Ultra 253B Q4-Q6 (~119-207 GB)
- gpt-oss-120b Nativ MXFP4 (80 GB) med enorm marginal för samtidiga instanser
- Pixtral Large / Mistral Large 2 bf16 (~248 GB); Devstral 2 123B bf16 – 256k, toppklass inom öppen kodning
- Llama 3.3 70B bf16 på ett enda kort; 4x samtidiga 70B-driftsättningar möjliga
Vision-språkmodeller
Qwen3-VL-235B-A22B bf16 (~240 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B bf16 (~248 GB); Qwen3-Omni-30B-A3B; Molmo 72B; ERNIE-4.5-VL; GLM-4.6V 106B bf16 på TP. Blackwell fp8 ger ~2x genomströmning vid inferens i vision-tornet jämfört med Ada.
Bildgenerering
FLUX.1 [dev] / Kontext / Tools i nativ fp8 (~15-20 s per 1024x1024-bild på ett enda RTX Pro 6000, publicerad referens); SD 3.5 Large; HunyuanImage-2.1 (17B nativ 2K); HunyuanImage-3.0 80B/13B MoE; AuraFlow; OmniGen; 4x samtidiga ComfyUI-workers.
Videogenerering
Wan 2.2 T2V-A14B / I2V-A14B dubbla experter bf16; HunyuanVideo 13B bf16 båda experterna; Open-Sora 2.0 (11B) bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ljud / tal / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Realtid / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
- Musik / SFX: MusicGen / AudioGen / Bark / SeamlessM4T
Servering av flera modeller / för flera hyresgäster
- DeepSeek V3 Q3 + samtidig 70B + FLUX.1 + Whisper, alla laddade samtidigt
- 4-vägs tensorparallellism för 350-400B-klassen i Q4
- Isolering per kort och hyresgäst – en 96 GB Llama 3.3 70B bf16 per kort, 4 oberoende inferenssilor
- RAG med flera modeller: läsare + omrankare + vision + embedder på samma värd
Målarbetsbelastningar
- Inferens-backend för ledande open-weight-modeller – DeepSeek V3 Q3, Qwen3-Coder-480B Q3, GLM-5 Q3
- Produktionsservering av multimodala Llama 4 Maverick Q4-agenter med generös kontextbudget
- Isolering för 4 hyresgäster per kort – en Llama 3.3 70B bf16 per hyresgäst, noll korskontaminering
- Servering av DeepSeek / R1 / Hunyuan i nativ fp8 på Blackwell-kisel
- Mistral Large 3 Q3 som västerländskt Apache-2.0-alternativ med ledande öppna vikter
Publicerade prestandareferenser
Externa referenser | Ej uppmätt på Kentinos hårdvara
| Benchmark | Resultat |
|---|---|
| RTX Pro 6000 INT8 TOPS per kort | 2 000 TOPS |
| RTX Pro 6000 minnesbandbredd | ~1 800 GB/s per kort |
| vLLM – DeepSeek V3 Q3 på 4x Blackwell PCIe (enkel) | ~30-40 tok/s |
| vLLM – DeepSeek V3 Q3 på 4x Blackwell PCIe (batch-8) | ~200 tok/s sammanlagt |
| SGLang – Llama 4 Maverick Q4 på 4x Blackwell (enkel) | ~45-55 tok/s |
| llama.cpp – Qwen3-Coder-480B Q3 på 4x Blackwell (enkel) | ~18-25 tok/s |
| FLUX.1 [dev] fp8 på ett enda RTX Pro 6000 | ~1.8 s per 1024x1024-bild |
Kentino publicerar egna mätvärden efter det första kundbygget.
Inte idealisk för
- Enanvändararbetsbelastningar upp till 70B – 4x RTX 5090 är betydligt billigare för en pool på 128 GB om ECC och passiv tillförlitlighet inte krävs
- Tyst labb / driftsättning nära kontor – den passiva kylaren kräver korrekt luftflöde fram-till-bak som i ett datacenter. För ljudkänsliga platser, välj Max-Q-varianten med turbofläkt (Kentino AI 384 Rome RTXPro6000MQ)
- Träning av frontier-modeller från grunden (ingen NVLink)
- Fullständig DeepSeek V3 Q4 på korten (~404 GB) – uppgradera till 6x RTX Pro 6000 / 576 GB
Garanti och leveranstid
Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränning, memtest och funktionsverifiering. Leveranstiden beror på komponenttillgång och bekräftas vid beställning.
Rekommenderade tillval
- Uppgradera RAM till 512 GB DDR4 (lägg till 2x 64 GB – 2 DIMM-platser lediga) för RAM-spillmarginal vid Q3-kvantiseringar av frontier-modeller
- 4 TB NVMe Gen4 x4 för ett bibliotek av frontier-modeller (enbart DeepSeek V3 Q3 tar ~290 GB på disk)
- Komplett 24U-rackskåp med styrd PDU + online-UPS
- Alternativ utformning: Max-Q-variant med turbofläkt (Kentino AI 384 Rome RTXPro6000MQ) – samma kisel, tystare blåskylare, för labbmiljöer
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.