Kentino AI 192 Rome RTXPro6000 4000TOPS — 2× RTX Pro 6000 Blackwell Server Edition — EPYC Milan
Platforma na podnikovej úrovni, zostavená a otestovaná v EÚ.
Kentino AI 192 Rome RTXPro6000 4000TOPS
Vlajková dvojica 192 GB ECC Blackwell
2x RTX Pro 6000 Server Edition | EPYC Milan | 4 000 TOPS INT8
Dve pasívne karty RTX Pro 6000 Blackwell Server Edition — 96 GB ECC každá. Menšia réžia tensor-parallel než pri 4- alebo 8-kartových zostavách. Vlajková dvojica pre dátové centrum.
Inferenčný server do racku s výškou 4U s dvoma pasívnymi kartami RTX Pro 6000 Blackwell Server Edition (96 GB ECC GDDR7 na kartu), jedným CPU AMD EPYC 7643 Milan (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe pre systém a jedným zdrojom 2 kW ATX. Pri hustom 70B v bf16 a stredne veľkých MoE platí, že menej veľkých kariet poráža viac malých — dvojkartový tensor parallelism má minimálnu komunikačnú réžiu a každá 96 GB karta unesie kompletnú kópiu väčšiny modelov.
Hardvér
| Komponent | Detail |
|---|---|
| GPU | 2x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC GDDR7 (pasívne, 600 W, PCIe 5.0 x16, dvojslotové) |
| Pool VRAM | 192 GB ECC (96 GB x 2) — každá karta unesie 70B model v bf16 samostatne |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x liniek PCIe 4.0) |
| Základná doska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Systémový disk / úložisko | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | 1x zdroj 2 kW ATX |
| Šasi | 4U do racku s riadeným prúdením vzduchu spredu dozadu |
| Chladenie | Arctic Freezer 4U-M SP3 tower + 3x 120 mm predný prívod + 1x 120 mm zadný odvod |
| Sieť | Integrované dvojité 10 GbE (Intel X550) |
Energetická bilancia
- Odber GPU: 2 x 600 W = 1 200 W
- Celková spotreba systému pri plnej záťaži: ~1 525 W
- Celkový výkon zdroja: 2 000 W (jeden 2 kW) — 23.7 % rezerva
- Jeden zdroj postačuje; voliteľný upgrade na dva zdroje pre redundanciu N+1
Topológia liniek
PCIe Gen4 x16 na GPU (karta je natívne Gen5; doska Rome je stropovaná na Gen4). Priame pripojenie na root complex — žiadny PCIe prepínač. Žiadny NVLink — peer-to-peer medzi GPU. Päť x16 slotov zostáva voľných na rozšírenie. Rozdiel Gen4 oproti Gen5 je pri inferencii s touto hustotou VRAM zanedbateľný.
Čo na ňom spustíte
So 192 GB ECC VRAM na dvoch kartách Blackwell s natívnym fp8/fp4 je toto najčistejšia cesta k hustému 70B v bf16 a k stredne veľkým MoE. Dva nezávislé 70B toky — jeden na kartu — alebo 200B MoE naprieč oboma s minimálnou réžiou 2-cestného TP.
LLM — text / uvažovanie / programovanie
Čínska špička
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) pohodlne s dlhým ctx (~15-25 tok/s v jednom toku naprieč 2 kartami); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB); Qwen3-32B hustý bf16 s obrovskou KV; QwQ-32B bf16
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB s malým presahom do RAM) — Blackwell beží fp8 natívne; DeepSeek-R2 32B bf16 dva súbežné toky (jeden na kartu)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — hlavná konfigurácia v tejto triede; GLM-4.5-Air fp8 alebo bf16 s obrovskou KV
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — 389B MoE s 256k ctx; Hunyuan-A13B fp8 natívne (~80 GB) s obrovskou KV
- Ďalšie: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); MiniMax-M1 Q3 (~180 GB)
Západná špička
- Meta Llama: Llama 3.3 70B bf16 na jednej karte — dva nezávislé súbežné 70B toky (~20-30 tok/s na tok); Llama 4 Scout bf16 (~218 GB, tesné); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~88 GB) na jednej karte alebo bf16 naprieč oboma; Mistral Small 3 vo viacerých tokoch
- OpenAI (otvorené váhy): gpt-oss-120b MXFP4 natívne (80 GB) — zmestí sa na JEDNU kartu, dva nezávislé súbežné toky
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 na jednej karte
- Ďalšie: Cohere Command R+ 104B Q6 (~85 GB) na jednej karte; Google Gemma 3 27B bf16 vo viacerých súbežných tokoch
Vizuálno-jazykové modely
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 na jednej karte; Pixtral Large 124B bf16 alebo Q6; Llama 3.2 90B Vision bf16 (~180 GB); Molmo 72B bf16 (~144 GB); GLM-4.6V 106B fp8; Gemma 3 27B multimodálne x 2-3 súbežné toky.
Generovanie obrázkov
FLUX.1 [dev] bf16 vo viacerých súbežných tokoch; FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 súbežne; HunyuanImage-2.1 bf16 (~34 GB) x 2-4 súbežne; HunyuanImage-3.0 base (80B MoE, 13B aktívnych) bf16 — zmestí sa na jednu kartu; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generovanie videa
Wan 2.2 MoE dvojexpertný bf16 s plným kontextom — zmestí sa na jednu kartu, dva súbežné generovacie toky; Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 obaja experti; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Zvuk / reč / TTS
- ASR: Whisper v3 large / turbo (~50x reálny čas); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Hudba / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Viacmodelová / viacnájomná prevádzka
- Dva nezávislé 70B toky — jeden na kartu, najjednoduchšia forma izolácie nájomníkov
- Hustý 70B bf16 + podporný stack — LLM na karte 1, obrázky/video/zvuk na karte 2
- 200B MoE naprieč oboma kartami — minimálna réžia tensor-parallel (2-cestné delenie)
- Natívne fp8 na špičkových modeloch — rodina DeepSeek V3, Hunyuan-Large fp8 s natívnymi cestami Blackwellu
Cieľové workloady
- Inferencia hustého 70B v bf16 — dve karty tensor-parallel s minimálnou réžiou alebo jeden model na kartu pre streaming
- 100-150B MoE v Q4-Q6 (GLM-4.5-Air, Qwen3.5-122B-A10B, Hunyuan-A13B, Llama 4 Scout)
- Inferencia špičkových modelov natívne v FP8 (rodina DeepSeek V3, Hunyuan, Llama 4) — Blackwell beží fp8 natívne
- Štúdio na generovanie obrázkov a videa v bf16 (Wan 2.2 T2V-A14B, HunyuanVideo 13B, FLUX.1 [dev])
- Analýza dokumentov s dlhým kontextom (MiniMax-M1, Kimi-K2 1.58-bit UD s presahom)
Namerané výkony
Publikované referencie | Dátový list NVIDIA RTX Pro 6000 Blackwell Server Edition + komunitné benchmarky
| Benchmark | Výsledok |
|---|---|
| INT8 TOPS na kartu (dátový list NVIDIA) | 2 000 TOPS |
| Súhrnné INT8 TOPS (2 karty) | 4 000 TOPS |
| Priepustnosť pamäte na kartu | ~1 800 GB/s, 96 GB ECC GDDR7 |
| Llama 3.3 70B bf16 na kartu (komunita) | 15-25 tok/s v jednom toku, 60-90 tok/s dávkovo |
| Dvojkartový tensor-parallel 70B (komunita) | očakávaných ~30-45 tok/s v jednom toku |
| Natívne fp8 na Blackwelli | DeepSeek-V3 fp8, Hunyuan-A13B fp8 bežia bez prevodu na bf16 |
Publikované externé referencie, nemerané na hardvéri Kentino. Kentino zverejní vlastné čísla po prvej zákazníckej zostave.
Nie je ideálny pre
- Veľmi vysokú súbežnosť pri viacnájomnej prevádzke — 4x L40 alebo 6x L4 sa rozloží lepšie na viac kariet
- Veľkú KV cache pri veľmi dlhom kontexte — prejdite na Kentino AI 384 RTXPro6000 8000TOPS
- Trénovanie — Kentino nepredáva NVLink fabriky triedy H
- Rozpočtovú inferenciu s poolom 192 GB — 8x RTX 4090 vyjde lacnejšie (vymeníte ECC a pasívne chladenie za nižšiu cenu)
Záruka a dodacia lehota
3-ročná OEM záruka NVIDIA na RTX Pro 6000 Server Edition + záruka Kentino na integráciu. Zostava zahŕňa montáž, konfiguráciu BIOSu, inštaláciu ovládačov, burn-in testovanie a funkčné overenie. Dodacia lehota závisí od dostupnosti komponentov a potvrdzuje sa pri objednávke.
Odporúčané doplnky
- Upgrade na dva synchronizované zdroje 2 kW pre redundanciu N+1
- Rozšírenie RAM na 512 GB (4 voľné DIMM sloty)
- 4 TB NVMe pre veľké knižnice váh a prípravu modelov
- Rozšírenie na 4-kartovú konfiguráciu (Kentino AI 384 RTXPro6000 8000TOPS) — šasi má kapacitu slotov
- 24U rackový kabinet + online UPS 5 kVA
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje postavené z komponentov, ktoré máme na sklade, expedujeme rýchlo; čokoľvek, čo si vyžaduje konkrétnu generáciu GPU, závisí od dostupnosti. Termín Vám oznámime ešte pred platbou, a ak sa posunie, povieme Vám to sami – nenecháme Vás, aby ste na to prišli.
Dá sa konfigurácia pred stavbou ešte zmeniť?
Takmer vždy. GPU, pamäť, úložisko aj chladenie vyberáme podľa konkrétnej objednávky a uvedená konfigurácia je skôr východiskovým bodom než pevným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný spôsob chladenia, povedzte nám to pred objednaním a zmenu Vám naceníme.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad je v Prahe a osobný odber je vítaný — väčšina ľudí, ktorí prídu, využije návštevu na to, aby si stroj prešla s naším technikom a opýtala sa na veci, ktoré sa cez e-mail riešia ťažko. Pri objednávkach v rámci Českej republiky sa snažíme doručovať aj osobne a uvedenie do prevádzky s Vami prejsť priamo na mieste.
Môžem hovoriť s niekým, kto naozaj rozumie workloadu?
Áno. Máme inžiniera, ktorý sa venuje priamo AI systémom, nie všeobecné obchodné oddelenie. Ak sa pýtate na veľkosti batchov, kvantizáciu, prepojenie alebo na to, kde bude Vaše úzke miesto, pýtajte sa — taký rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Aký model môžem na tejto konfigurácii spustiť?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Ako testujete server pred odoslaním?
Testujeme ho na reálnych AI workloadoch, nie na syntetických skóre: priepustnosť inferencie, správanie pri trvalej záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov dostanete spolu so strojom, takže výkon, ktorý sme vám sľúbili, si môžete overiť hneď v prvý deň.
Je server po doručení pripravený na prevádzku?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Expedujeme z nášho skladu v EÚ. Pri ťažkých položkách môže byť potrebná prepravná zásielka — kontaktujte nás pre cenovú ponuku dopravy a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou RMA podporou; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám, aký workload prevádzkujete, a my okolo neho navrhneme túto platformu — GPU, pamäť, úložisko aj chladenie presne na mieru.