Kentino AI 96 Rome RTXPro6000 2000TOPS — Blackwell-arbetsstationsserver med ett kort och 96 GB
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 96 Rome RTXPro6000 2000TOPS
96 GB ECC arbetsstationsserver med ett kort
1x RTX Pro 6000 Blackwell | EPYC Milan | 2 000 TOPS INT8
Ett kort, 96 GB ECC VRAM, hela Blackwells tensorpipeline. 70B dense bf16 på en enda GPU — utan overhead från tensorparallellism.
En 4U rackmonterad arbetsstationsserver med ett NVIDIA RTX Pro 6000 Blackwell Workstation-kort (96 GB ECC GDDR7), en AMD EPYC 7643 Milan-CPU (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe för boot och ett 2 kW ATX-nätaggregat med 54 % marginal. Den enklaste mjukvaruvägen Kentino levererar — ingen tensorparallell konfiguration, ingen felsökning av flera GPU:er. vLLM, SGLang, llama.cpp och ComfyUI körs på en enhet och fungerar direkt.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU | 1x NVIDIA RTX Pro 6000 Blackwell Workstation 96 GB ECC GDDR7 (600 W, PCIe 5.0 x16) |
| VRAM | 96 GB ECC på ett enda kort — ingen poolning, ingen overhead från tensorparallellism |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0-banor) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systemminne | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Boot / lagring | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | 1x 2 kW ATX-nätaggregat |
| Chassi | 4U rackmonterat (plats för 4 kort, 1 monterat — utrymme att bygga ut) |
| Kylning | Arctic Freezer 4U-M SP3 tornkylare + 3x 120 mm intag fram + 1x 120 mm utblås bak |
| Nätverk | Inbyggt dubbelt 10 GbE (Intel X550) |
Effektbudget
- GPU-förbrukning: 1 x 600 W = 600 W
- Systemets totala förbrukning vid full last: ~925 W
- Nätaggregat totalt: 2 000 W — 53.8 % marginal
- Ett nätaggregat, enkel kabeldragning — generös marginal för ett bygge med ett kort
PCIe-topologi
PCIe Gen4 x16 till GPU:n (kortet är nativt Gen5; Rome-moderkortet begränsar till Gen4). Direkt anslutning till root complex — ingen PCIe-switch. Ingen NVLink behövs — ett kort, ingen länk mellan GPU:er alls. Sex x16-platser är fortfarande lediga för NIC / lagring / expansion.
Vad du kan köra
Med 96 GB ECC VRAM på ett enda Blackwell-kort klarar servern 70B dense bf16 på en GPU, LLM:er med öppna vikter, visionsmodeller, bild- och videogenerering, tal-AI och inferens i produktion — utan behov av tensorparallell samordning.
LLM:er — text / resonemang / kodning
Kinesisk frontlinje
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-32B dense bf16 (~65 GB) med generös KV; Qwen3-72B Q6 (~58 GB, ~25-35 tok/s i en ström); Qwen3-30B-A3B MoE bf16; Qwen3-Coder-30B-A3B agentisk med 256k ctx; Qwen3.5-122B-A10B Q4 (~70 GB) med snäv KV; QwQ-32B bf16 för resonemang
- DeepSeek: DeepSeek-R2 32B gles MoE bf16 (~64 GB, 92.7 % AIME 2025 på ett kort); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B i full precision
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB); GLM-4.6V 106B Q4
- Tencent Hunyuan: Hunyuan-A13B 80B/13B MoE Q4-fp8 (~48-80 GB) med 256k ctx och resonemang i två lägen
- ByteDance Seed-OSS-36B bf16 (~72 GB, snävt) eller fp8 (~36 GB) med full nativ kontext på 512k
- Baidu ERNIE-4.5-47B-A3B Q4-fp8 med lång kontext
Västerländsk frontlinje
- Meta Llama: Llama 3.3 70B i bf16 (~70 GB) på ett kort med 8-16k ctx — flaggskeppskonfigurationen; Llama 3.3 70B Q6 (~58 GB, ~35-50 tok/s i en ström); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 3.2 90B Vision Q4 (~52 GB); Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral: Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B), alla i bf16 med 256k ctx; Mixtral 8x7B Q6; Codestral Mamba 7B; Pixtral 12B bf16
- OpenAI (öppna vikter): gpt-oss-20b MXFP4 nativt (16 GB); gpt-oss-120b MXFP4 nativt (80 GB) — ett kort, en ström
- Google Gemma 3: 27B multimodal bf16 (~54 GB) med 128k ctx; 12B / 4B bf16
- Microsoft Phi-4 14B dense bf16; Phi-4-reasoning; Phi-4-multimodal
- NVIDIA Nemotron: Llama-3.1-Nemotron-Super 49B Q6 (~40 GB); Nemotron-Nano 8B
- Övriga: IBM Granite 4.0 H-Small 32B/9B; OLMo 2 32B; Reka Flash 3 21B; Falcon H1R 7B; Command R 35B
Vision-språkmodeller
Qwen3-VL-8B / 32B bf16, Qwen3-VL-30B-A3B MoE bf16, Qwen3-Omni-30B-A3B; InternVL3 upp till 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2 hela serien; Llama 3.2 11B Vision bf16; Llama 3.2 90B Vision Q4 (~52 GB); Pixtral 12B bf16; Molmo 72B Q4; Molmo 7B bf16; Gemma 3 12B / 27B multimodal; PaliGemma 2 28B; Phi-3.5-Vision; Aya Vision 8B / 32B; MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V.
Bildgenerering
FLUX.1 [dev] / [schnell] bf16 (~24 GB) och kvantiserad (~15-25 s/bild i fp8); FLUX.1 Kontext [dev] för redigering i kontext; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large bf16 (~18 GB); SDXL 1.0; HunyuanImage-2.1 bf16 (~34 GB) i nativ 2K; HunyuanDiT 1.5B; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videogenerering
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 (~54 GB, båda experterna i minnet); Wan 2.2 TI2V-5B snabbspår; HunyuanVideo 13B bf16 (~60-80 GB, snävt i 720p); HunyuanVideo 1.5 (8.3B); CogVideoX-5B; Open-Sora 2.0 (11B) bf16; Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ljud / tal / TTS
- ASR: Whisper v3 large / turbo (~50x realtid); NVIDIA Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtid / S2S: Kyutai Moshi (200 ms full duplex); Step-Audio 2 mini; Step-Audio-R1 / R1.1; Qwen2.5-Omni-7B
- Musik / ljudeffekter: Meta MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Flera modeller / flera hyresgäster
- Kodassistent med streaming för en hyresgäst — 70B dense bf16, låg latens, ingen TP-förlust
- Blandad stack i minnet: Qwen3-32B bf16 + FLUX.1 fp8 + Whisper-turbo + Moshi på ett kort med partitionerat VRAM
- Finjustering: LoRA / QLoRA på 13-34B-modeller; alla parametrar på 7B
- Embeddingtjänst: BGE-M3 / E5 / Jina i minnet parallellt med en generativ LLM
Målarbetsbelastningar
- Kodassistent med streaming för en hyresgäst som kör Llama 3.3 70B bf16 eller Qwen3-Coder-30B-A3B — ingen overhead för TP-samordning
- Utvecklararbetsstation för en enskild ingenjör eller ett litet team som behöver en modell i 70B-klassen med 32-128k kontext
- Labb för video- eller bildgenerering — HunyuanVideo 13B, Wan 2.2 med dubbla experter, HunyuanImage-2.1, allt i bf16 i minnet
- VLM-/OCR-bänk — Qwen3-VL-32B bf16 eller InternVL3.5-38B med pipelines för långa dokument
- Ren appliance för en liten LLM API-gateway — en modell, ett kort, enkel drift
Uppmätt prestanda
Publicerade referenser | NVIDIA RTX Pro 6000 Blackwell datablad + benchmarks från communityn
| Benchmark | Resultat |
|---|---|
| INT8 TOPS per kort (NVIDIA datablad) | 2 000 TOPS |
| VRAM per kort | 96 GB ECC GDDR7 |
| Minnesbandbredd | ~1 800 GB/s |
| Llama 3.3 70B Q6 på en GPU (community) | 40-55 tok/s i en ström |
| Llama 3.3 70B bf16 på en GPU (community) | 15-25 tok/s i en ström |
| Blackwell fp8 nativt | DeepSeek-V3 fp8 och Hunyuan-A13B fp8 körs utan uppkonvertering till bf16 |
Publicerade externa referenser, ej uppmätta på Kentinos hårdvara. Kentino publicerar egna siffror efter det första kundbygget.
Mindre lämplig för
- Träning av stora modeller från grunden (en GPU — ingen tensor-/pipelineparallellism)
- Frontier-MoE på 200B+ med realistisk kvantisering (Qwen3-235B Q4, GLM-4.5/4.6 — välj Kentino AI 192 RTXPro6000 eller större)
- Inferens med hög samtidighet för många hyresgäster (ett kort begränsar den sammanlagda genomströmningen; 4x RTX 4090 eller 4x L40 skalar bättre)
Garanti och leveranstid
NVIDIA OEM-garanti på 3 år för RTX Pro 6000 + Kentinos integrationsgaranti. Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering. Leveranstiden beror på komponenttillgång och bekräftas vid beställning.
Rekommenderade tillval
- Uppgradera RAM till 512 GB (lägg till 4x 64 GB DDR4 — fyra DIMM-platser är fortfarande lediga)
- Sekundär 4 TB NVMe-enhet för modellbibliotek / förberedelse av dataset
- Öppet 24U-skåp för rackmontering i produktion
- För länkhastighet Gen5 x16, överväg Genoa-varianten på förfrågan
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.