Kentino AI 128 Rome 5090 6704TOPS — 4× RTX 5090 Blackwell AI server
Platforma podnikové třídy, sestavená a otestovaná v EU.
Kentino AI 128 Rome 5090 6704TOPS
Inferenční server se 128 GB VRAM na architektuře Blackwell
4x RTX 5090 | EPYC Milan | 6 704 TOPS INT8
Čtyři karty Blackwell RTX 5090 s nativními tenzorovými cestami fp8/fp4. Nejvýkonnější sestava se 4 GPU na platformě Rome.
Inferenční server 4U do racku se čtyřmi kartami GeForce RTX 5090 sdruženými do 128 GB VRAM, jedním CPU AMD EPYC 7643 Milan (48C/96T), 512 GB DDR4 ECC (osazeno všech 8 slotů DIMM pro maximální propustnost), systémovým 2TB NVMe a dvojicí synchronizovaných zdrojů ATX 2 kW. Provozuje vLLM, SGLang, llama.cpp i ComfyUI s inferenčními kernely fp8 a MXFP4 nativními pro Blackwell.
Hardware
| Komponenta | Detail |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W, PCIe 5.0 x16) |
| Fond VRAM | 128 GB celkem na 4 kartách (spotřebitelská 5090 nemá NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linek PCIe 4.0) |
| Základní deska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — osazeny všechny sloty DIMM) |
| Systémový disk / úložiště | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Dva zdroje ATX 2 kW se synchronizačním kabelem + sada adaptérů 12VHPWR |
| Šasi | 4U do racku, 4x GPU, pasivní risery PCIe 4.0 x16 |
| Chlazení | Arctic Freezer 4U-M SP3 tower + 3x 120mm přední sání + 1x 120mm zadní výfuk |
| Síť | Integrované dvojité 10 GbE (Intel X550) |
Energetická bilance
- Odběr GPU: 4 x 575 W = 2 300 W
- Systém celkem při plné zátěži: ~2 650 W
- Zdroje celkem: 4 000 W (dva synchronizované 2 kW) — rezerva 33.8 %
- Dva zdroje pro rozdělené napájení — každý zdroj napájí část systému
Topologie linek
ROMED8-2T rozvádí 128 linek PCIe Gen4 z EPYC přímo do sedmi slotů x16; čtyři jsou osazeny GPU na Gen4 x16. Žádný PCIe switch. Spotřebitelská 5090 nemá NVLink — komunikace mezi GPU probíhá peer-to-peer. Karty jsou nativně Gen5, Rome je omezí na Gen4.
Co na něm můžete provozovat
Se 128 GB sdružené VRAM a nativními tenzorovými cestami fp8 pro Blackwell si tento server poradí s Qwen3-235B-A22B Q4 i gpt-oss-120b MXFP4 se skutečnou rezervou na KV — tedy dál, než kam dosáhnou 4x RTX 4090.
LLM — text / uvažování / kódování
Čínská špička
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q3-Q4 (~112-132 GB) se vejde do 128GB fondu s kontextem 8-16k — hlavní konfigurace; Qwen3-32B dense bf16 (~65 GB) s velkou KV; Qwen3-Coder-30B-A3B agentně při 1M ctx; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB); QwQ-32B bf16 pro uvažování
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 nativně fp8 Q2 (~215 GB) s přeléváním do 512 GB RAM hostitele — použitelné pro dávkové zpracování; DeepSeek-R2 32B bf16 ve více streamech (4 souběžné, jeden na kartu)
- GLM / Z.ai: GLM-4.5-Air 106B/12B fp8 (~106 GB) nebo pohodlně Q6; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) těsně, s odkládáním MoE
- Tencent Hunyuan: Hunyuan-A13B nativně fp8 (~80 GB) — Blackwell počítá fp8 bez penalizace za převod; Hunyuan-Large Q2 s přeléváním do RAM
- ByteDance Seed-OSS-36B bf16 s nativními 512k; ERNIE-4.5-424B Q2 (~150 GB s přeléváním)
Západní špička
- Meta Llama: Llama 3.3 70B Q4 na 4x 5090 (~30-40 tok/s v jednom streamu, ~270+ tok/s v dávce 32 ve vLLM); Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB); Llama 4 Maverick 400B/17B Q3 (~188 GB s přeléváním)
- Mistral: Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 ve více streamech; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
- OpenAI (otevřené váhy): gpt-oss-120b nativně MXFP4 (80 GB) se skutečnou KV a dlouhým kontextem — vlajkový workload pro Blackwell; gpt-oss-20b MXFP4
- Google Gemma 3: 27B multimodální bf16 (~54 GB) ve dvou souběžných streamech; 12B / 4B
- Microsoft Phi-4 14B dense bf16; Phi-4-reasoning v destilované podobě
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) těsně; Super 49B bf16 (~98 GB)
- Další: Cohere Command R+ 104B Q6 (~85 GB); Molmo 72B Q6-bf16 VLM; OLMo 2 32B; IBM Granite 4.0 H-Small
Vision-language modely
Qwen3-VL-235B-A22B Q3-Q4; Qwen3-VL-32B bf16; InternVL3.5-241B-A28B Q4 (~135 GB tight); InternVL3 78B bf16; Llama 3.2 90B Vision Q6 (~74 GB); Pixtral Large 124B Q6 (~88 GB); Molmo 72B Q6/bf16; Gemma 3 27B multimodal bf16; GLM-4.6V 106B fp8.
Generování obrázků
FLUX.1 [dev] bf16 a fp8 (~10-18 s/obrázek při fp8); FLUX.1 Kontext [dev]; SD 3.5 Large bf16; HunyuanImage-2.1 bf16 a Q4; HunyuanImage-3.0 base (80B MoE, 13B aktivních) bf16 (~80 GB, vlajková stopa); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generování videa
Wan 2.2 MoE se dvěma experty bf16 (~54 GB, plný kontext); Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 s oběma experty (~60-80 GB); HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16 (~24 GB); Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Zvuk / řeč / TTS
- ASR: Whisper v3 large / turbo (~50x reálný čas); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- V reálném čase / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Hudba / zvukové efekty: MusicGen / AudioGen / Bark; SeamlessM4T v2
Obsluha více modelů / více nájemců
- 200B MoE v Q4 s dávkovou inferencí (Qwen3-235B, GLM-4.5/4.6/4.7-Air) pro 8-16 souběžných uživatelů
- Nativní fp8 u špičkových modelů — rodina DeepSeek V3, Hunyuan-Large fp8 s nativními cestami Blackwellu
- Smíšený rezidentní stack: gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi na rozdělené VRAM
- Vysoká propustnost u 70B — tenzorově paralelní vLLM / SGLang s agregovanou dávkou 200+ tok/s
Cílové workloady
- Produkční obsluha 200B+ MoE v Q3-Q4 se skutečnou KV (Qwen3-235B, GLM-4.5-Air 106B)
- Nativní fp8 inference špičkových modelů (DeepSeek V3/R1 fp8, Hunyuan fp8) — Blackwell počítá bez převodu nahoru
- Vysokopropustná obsluha 70B — tenzorově paralelní dávky přes vLLM nebo SGLang
- Studio pro generování videa v bf16 (Wan 2.2 se dvěma experty, HunyuanVideo 13B, Mochi-1)
- Smíšený provoz pro více nájemců — 120B MoE + generování obrázků + hlas v reálném čase, vše rezidentně
Naměřený výkon
Publikované reference | datasheet NVIDIA RTX 5090 + komunitní benchmarky
| Benchmark | Výsledek |
|---|---|
| INT8 TOPS na kartu (datasheet NVIDIA) | 1 676 TOPS |
| Agregované INT8 TOPS (4 karty) | 6 704 TOPS |
| Propustnost paměti na kartu | ~1 792 GB/s |
| Llama 3.3 70B Q6 přes vLLM (komunita) | 60-90 tok/s v jednom streamu, 300+ tok/s v dávce |
| Qwen3-235B-A22B Q3-Q4 | Vejde se do 128GB fondu s kontextem 8-16k |
| gpt-oss-120b nativně MXFP4 | 80 GB — pohodlně, s rezervou na KV |
Publikované externí reference, neměřeno na hardwaru Kentino. Kentino zveřejní vlastní čísla po první zákaznické sestavě.
Vhodné naopak není pro
- Špičkové modely 400B+ v Q4 (Kimi-K2, Mistral Large 3, Intern-S1-Pro — vyžadují 8 GPU nebo 6x RTX Pro 6000)
- Workloady citlivé na linku PCIe Gen5 — zvolte variantu Genoa s nativním Gen5 x16
- Trénink od nuly (spotřebitelská 5090 nemá NVLink)
- Provoz 24/7 citlivý na ECC — spotřebitelská 5090 ECC nemá; zvolte raději L40 nebo RTX Pro 6000 Server Edition
Záruka a dodací lhůta
Sestava zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zátěžový test a ověření funkčnosti. Dodací lhůta závisí na dostupnosti komponent a potvrzuje se při objednávce.
Doporučené doplňky
- Upgrade na dva zdroje 2.5 kW (FSP) pro dlouhodobě nejhorší případ bf16 + video — doporučeno pro provoz 24/7
- 4 TB NVMe pro knihovnu modelů a přípravu vah MoE
- Otevřený rack 24U pro nasazení více serverů
- Na vyžádání zvažte variantu na platformě Genoa kvůli lince Gen5 x16
Otázky, které nám kupující kladou před objednávkou serveru nejčastěji.
Jak dlouho to trvá?
Stroje sestavené z komponent, které máme skladem, expedujeme rychle; cokoli, co vyžaduje konkrétní generaci GPU, závisí na dostupnosti. Termín Vám sdělíme ještě před platbou, a pokud se posune, dáme Vám vědět sami, místo abyste na to museli přijít.
Lze konfiguraci změnit ještě před sestavením?
Téměř vždy. GPU, paměť, úložiště i chlazení volíme podle konkrétní objednávky a uvedená konfigurace je spíš výchozím bodem než pevně daným balíkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiné řešení chlazení, dejte nám vědět ještě před objednávkou a změnu Vám naceníme.
Mohu si server vyzvednout osobně?
Ano, můžete. Náš sklad je v Praze a osobní odběr vítáme — většina těch, kdo přijedou, využije návštěvu k tomu, aby si stroj prošla s naším technikem a zeptala se na věci, které se e-mailem řeší těžko. U objednávek v rámci České republiky se také snažíme doručovat osobně a provést Vás nastavením přímo na místě.
Mohu mluvit s někým, kdo opravdu rozumí workloadu?
Ano. Máme inženýra, který se věnuje přímo AI systémům, nikoli obecné obchodní oddělení. Pokud se ptáte na velikosti batchů, kvantizaci, propojení nebo na to, kde bude Vaše úzké hrdlo, zeptejte se — takový rozhovor obvykle posune konfiguraci k lepšímu.
Jaký model na této konfiguraci spustím?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Jak testujete server před expedicí?
Testujeme ji na skutečných AI workloadech, ne na syntetických skóre: propustnost inference, chování při dlouhodobé zátěži a teploty v nepřetržitém provozu. Výsledky benchmarků dostanete spolu se strojem, takže si slíbený výkon můžete ověřit hned první den.
Je server po dodání připravený k provozu?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Expedujeme z našeho skladu v EU. U těžkých položek může být nutná přeprava nákladní dopravou — napište si o cenovou nabídku dopravy a dodací lhůtu. Dvouletá omezená záruka s přednostním RMA servisem, prodloužená záruka na vyžádání.
Není to přesně to, co potřebujete?
Řekněte nám, jaký workload provozujete, a my Vám tuto platformu navrhneme na míru — GPU, paměť, úložiště i chlazení podle toho, co u Vás skutečně běží.