Kentino AI 192 RomeDual 4090 5288TOPS — 8× RTX 4090 — Dual EPYC Milan
Platforma podnikové třídy, sestavená a otestovaná v EU.
Kentino AI 192 RomeDual 4090 5288TOPS
Inferenční server s 8 GPU a 192 GB VRAM
8x RTX 4090 | dva EPYC Milan | 5 288 TOPS INT8
Vlajkový inferenční stroj s osmi herními GPU. Pool 192 GB za ekonomiku spotřebních karet na dvoupaticové platformě EPYC Milan.
Šasi 7U pro 8 GPU postavené na dvou procesorech EPYC 7643 Milan (celkem 96C/192T), základní desce ASRock Rack ROME2D32GM-NL se dvěma paticemi SP3, 512 GB DDR4 ECC, 2 TB NVMe pro systém a sadě pěti serverových zdrojů 1200 W. Osm karet GeForce RTX 4090 je připojeno přes aktivní PCIe Gen4 retimer risery v plném x16. Nejlevnější cesta k inferenci špičkových MoE modelů ve 192 GB na hardwaru Kentino.
Hardware
| Komponenta | Detail |
|---|---|
| GPU | 8x NVIDIA GeForce RTX 4090 24 GB GDDR6X (Ada Lovelace, 450 W, PCIe 4.0 x16) |
| Pool VRAM | Celkem 192 GB napříč 8 kartami (spotřební RTX 4090 nemá NVLink) |
| CPU | 2x AMD EPYC 7643 Milan (každý 48C/96T — celkem 96C/192T, každý 225 W, 2x 128 linek PCIe 4.0) |
| Základní deska | ASRock Rack ROME2D32GM-NL (dvě patice SP3, PCIe 4.0, 32x slot DDR4 ECC DIMM) |
| Systémová RAM | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — 4 na patici kvůli vyvážení osmi kanálů) |
| Systémový disk / úložiště | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Sada pěti serverových zdrojů 1200 W (kompatibilní s HP, hot-swap) + kompletní sada adaptérů 12VHPWR |
| Šasi | Šasi 7U pro 8 GPU (až 10 karet PCIe včetně riserů) |
| Risery | 8x aktivní retimer riser PCIe Gen4 x16 (na dané délce kabelu nutnost) |
| Chlazení | 2x věžový chladič Arctic Freezer 4U-M SP3 + rackové proudění vzduchu zepředu dozadu (průmyslové ventilátory) |
| Síť | Integrovaný dvojitý 10 GbE (Intel X550) |
Příkonová bilance
- Odběr GPU: 8 x 450 W = 3 600 W
- Odběr CPU: 2 x 225 W = 450 W
- Systém celkem při plné zátěži: ~4 200 W
- Zdroje celkem: 6 000 W při všech aktivních (5x 1200 W) — rezerva 30.0 %
Topologie linek
ROME2D32GM-NL nabízí 2x 128 linek PCIe Gen4 — jeden 128linkový pool na každou patici EPYC — přímo do slotů pro GPU. Aktivní retimer risery Gen4 kvůli integritě signálu. Žádný PCIe switch. Žádný NVLink. Naměřeno 19-22 GB/s peer-to-peer mezi GPU na testovací sestavě se 4 GPU.
Co na něm rozběhnete
Se 192 GB napříč 8 kartami zvládne tento server špičkové MoE modely nad 200B v Q4, osmicestnou tensor-parallel inferenci, provoz více modelů s izolací tenantů a vysokou propustnost při velkých dávkách — a to za ekonomiku spotřebních karet.
LLM — text / uvažování / programování
Čínská špička
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) s dlouhým ctx — vlajková konfigurace (~15-25 tok/s v jednom streamu na 8x RTX 4090); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB) ve více streamech; Qwen3-32B dense bf16 v několika souběžných instancích
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB s odkládáním do 512 GB RAM hostitele); DeepSeek-R2 32B bf16 — až 8 souběžných streamů, jeden na kartu (~30-40 tok/s na stream)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB); GLM-4.5-Air fp8 nebo bf16; GLM-4.6V 106B
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB); Hunyuan-A13B Q4/Q6 (RTX 4090 je Ada — fp8 se povyšuje na bf16, použijte GGUF kvantizace)
- Další: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB); MiniMax-M1 Q3 (~180 GB)
Západní špička
- Meta Llama: Llama 3.3 70B bf16 s obrovskou KV (~20 tok/s v jednom streamu v Q4, ~179 tok/s při batch-32 ve vLLM — naměřeno Kentinem na sestavě se 4 GPU); Llama 4 Scout bf16 (~218 GB, těsné); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large 123B Q6 pohodlně nebo bf16 (~248 GB s odkládáním); Mistral Small 3 ve více streamech
- OpenAI (otevřené váhy): gpt-oss-120b nativně v MXFP4 (80 GB) s obří KV
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16
- Další: Cohere Command R+ 104B Q6 (~85 GB); Google Gemma 3 27B bf16 v několika streamech
Vision-language modely
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 ve více streamech; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6; Molmo 72B bf16; GLM-4.6V 106B fp8/Q6; Gemma 3 27B multimodální v několika streamech.
Generování obrázků
FLUX.1 [dev] bf16 — až 8 souběžných generovacích streamů (jeden na kartu, ~15-25 s/obrázek při fp8); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 8; HunyuanImage-2.1 bf16 (~34 GB) 2-4 souběžně; HunyuanImage-3.0 base (80B MoE, 13B aktivních) bf16; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generování videa
Wan 2.2 MoE se dvěma experty bf16 s plným ctx — více souběžných streamů; Wan 2.2 TI2V-5B 8x souběžně; HunyuanVideo 13B bf16 oba experti; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Genmo Mochi-1 bf16; LTX-Video 8x souběžně; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Audio / řeč / TTS
- ASR: Whisper v3 large / turbo 8x souběžně (~50x rychleji než reálný čas na stream); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open
- Realtime / S2S: Kyutai Moshi 7B — 8 souběžných hlasových streamů; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Hudba / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Provoz více modelů / více tenantů
- Osmicestná tensor-parallel inference MoE 200-250B v Q4 (Qwen3-235B, GLM-4.5/4.6/4.7)
- Provoz 8 streamů s izolací tenantů — jeden 24GB model v Q4 na kartu (např. 8x agent Qwen3-14B)
- 70B ve velkých dávkách — tensor-parallel vLLM / SGLang, agregát batch-64
- Smíšený provoz: MoE 235B na 4 kartách (TP4) + FLUX + video + realtime hlas na zbylých 4
- Laboratoř pro doladění modelů — LoRA / QLoRA 7-34B s velkou dávkou
Cílové workloady
- Osmicestná tensor-parallel inference nad poolem 192 GB — Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16
- Husté 70B bf16 (Llama 3.3 70B) s obrovskou rezervou pro KV při dlouhém ctx a velkých dávkách
- Brána pro dávkovou inferenci s vysokou propustností — vLLM / SGLang tensor-parallel při velkých dávkách
- Doladění modelů třídy 7-34B pomocí LoRA / QLoRA s velkými dávkami
- Video-obrazové studio s plným workflow Wan 2.2 dual-expert / HunyuanImage-3.0 / FLUX.1
Naměřený výkon
Kentino bench (referenční sestava se 4 GPU) | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + 512 GB DDR4 + ROMED8-2T
| Benchmark | Výsledek |
|---|---|
| Trvalý výpočetní výkon (fp16, reference se 4 kartami) | 647 TFLOPS |
| vLLM — Llama 3.3 70B AWQ INT4 (jeden stream) | 8.0 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 (batch-32) | 179 tok/s agregovaně |
| llama.cpp — Llama 3.3 70B Q4_K_M (jeden stream) | 20.3 tok/s dekódování |
| Agregovaný výkon 8 GPU (extrapolace) | očekáváno ~1 294 TFLOPS fp16 (téměř lineárně) |
| 235B Q4 osmicestně tensor-parallel (komunitní údaj) | 15-25 tok/s v jednom streamu na 8x RTX 4090 |
Data pro 4 karty jsou naměřena na hardwaru Kentino. Extrapolace na 8 GPU vychází z publikovaných externích údajů. Vlastní čísla pro 8 GPU zveřejní Kentino po první zákaznické sestavě.
Není ideální pro
- Workloady pro generaci 5090 (nativní fp8 na Blackwellu + vyšší TOPS) — viz Kentino AI 256 TurinDual 5090
- Trénování od nuly (spotřební RTX 4090 nemá NVLink)
- Nepřetržitý provoz citlivý na ECC — spotřební RTX 4090 ECC nemá; sáhněte raději po 4x L40 nebo 2x RTX Pro 6000 Server Edition
- Nativní fp8 u Hunyuan / DeepSeek — RTX 4090 je Ada, fp8 checkpointy se povyšují na bf16
Záruka a dodací lhůta
Sestavení zahrnuje montáž, konfiguraci BIOSu s laděním NUMA pro dvě patice, instalaci ovladačů, zátěžový zápal, memtest, kompletní stress test všech 8 GPU a přípravu prostředí pro LLM. Dodací lhůta závisí na dostupnosti komponent a potvrzuje se při objednávce.
Doporučené doplňky
- Doplňkové NVMe 4 TB pro přípravu vah a workloady s MoE offloadem
- NVIDIA ConnectX-5 100 GbE pro provoz napříč uzly
- Rozšíření RAM na 1 TB (16x 64 GB) nebo 2 TB (32x 64 GB) — deska podporuje 32 slotů DIMM
- Kompletní rackový rozvaděč 24U + online UPS 5 kVA
Otázky, které nám kupující kladou před objednávkou serveru nejčastěji.
Jak dlouho to trvá?
Stroje sestavené z komponent, které máme skladem, expedujeme rychle; cokoli, co vyžaduje konkrétní generaci GPU, závisí na dostupnosti. Termín Vám sdělíme ještě před platbou, a pokud se posune, dáme Vám vědět sami, místo abyste na to museli přijít.
Lze konfiguraci změnit ještě před sestavením?
Téměř vždy. GPU, paměť, úložiště i chlazení volíme podle konkrétní objednávky a uvedená konfigurace je spíš výchozím bodem než pevně daným balíkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiné řešení chlazení, dejte nám vědět ještě před objednávkou a změnu Vám naceníme.
Mohu si server vyzvednout osobně?
Ano, můžete. Náš sklad je v Praze a osobní odběr vítáme — většina těch, kdo přijedou, využije návštěvu k tomu, aby si stroj prošla s naším technikem a zeptala se na věci, které se e-mailem řeší těžko. U objednávek v rámci České republiky se také snažíme doručovat osobně a provést Vás nastavením přímo na místě.
Mohu mluvit s někým, kdo opravdu rozumí workloadu?
Ano. Máme inženýra, který se věnuje přímo AI systémům, nikoli obecné obchodní oddělení. Pokud se ptáte na velikosti batchů, kvantizaci, propojení nebo na to, kde bude Vaše úzké hrdlo, zeptejte se — takový rozhovor obvykle posune konfiguraci k lepšímu.
Jaký model na této konfiguraci spustím?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Jak testujete server před expedicí?
Testujeme ji na skutečných AI workloadech, ne na syntetických skóre: propustnost inference, chování při dlouhodobé zátěži a teploty v nepřetržitém provozu. Výsledky benchmarků dostanete spolu se strojem, takže si slíbený výkon můžete ověřit hned první den.
Je server po dodání připravený k provozu?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Expedujeme z našeho skladu v EU. U těžkých položek může být nutná přeprava nákladní dopravou — napište si o cenovou nabídku dopravy a dodací lhůtu. Dvouletá omezená záruka s přednostním RMA servisem, prodloužená záruka na vyžádání.
Není to přesně to, co potřebujete?
Řekněte nám, jaký workload provozujete, a my Vám tuto platformu navrhneme na míru — GPU, paměť, úložiště i chlazení podle toho, co u Vás skutečně běží.