Kentino AI 128 Rome 5090 6704TOPS — AI server Blackwell
Platforma na podnikovej úrovni, zostavená a otestovaná v EÚ.
Kentino AI 128 Rome 5090 6704TOPS
Inferenčný server Blackwell so 128 GB VRAM
4x RTX 5090 | EPYC Milan | 6 704 TOPS INT8
Štyri karty Blackwell RTX 5090 s natívnymi fp8/fp4 tenzorovými cestami. Najvýkonnejšia 4-GPU zostava na platforme Rome.
Inferenčný server do racku s výškou 4U so štyrmi kartami GeForce RTX 5090 zlúčenými do 128 GB VRAM, jedným CPU AMD EPYC 7643 Milan (48C/96T), 512 GB DDR4 ECC (osadených všetkých 8 DIMM slotov pre maximálnu priepustnosť), 2 TB NVMe pre systém a dvojicou synchronizovaných 2 kW ATX zdrojov. Beží na ňom vLLM, SGLang, llama.cpp aj ComfyUI s inferenčnými kernelmi fp8 a MXFP4 natívnymi pre Blackwell.
Hardvér
| Komponent | Detail |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W, PCIe 5.0 x16) |
| pool VRAM | Spolu 128 GB naprieč 4 kartami (consumer 5090 nemá NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x liniek PCIe 4.0) |
| Základná doska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — osadené všetky DIMM sloty) |
| Systém / úložisko | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Dva 2 kW ATX zdroje so synchronizačným káblom + sada adaptérov 12VHPWR |
| Šasi | 4U do racku, 4x GPU, pasívne riser karty PCIe 4.0 x16 |
| Chladenie | Arctic Freezer 4U-M SP3 tower + 3x 120 mm predný prívod + 1x 120 mm zadný odvod |
| Sieť | Integrované dvojité 10 GbE (Intel X550) |
Príkonová obálka
- Odber GPU: 4 x 575 W = 2 300 W
- Celý systém pri plnej záťaži: ~2 650 W
- Zdroje spolu: 4 000 W (dva 2 kW synchronizované) — 33.8 % rezerva
- Dva zdroje pre rozdelené napájanie — každý zdroj napája časť systému
Topológia liniek
ROMED8-2T rozvádza 128 liniek PCIe Gen4 z EPYC priamo do siedmich slotov x16; štyri sú osadené GPU v režime Gen4 x16. Žiadny PCIe switch. Consumer 5090 nemá NVLink — komunikácia medzi GPU prebieha peer-to-peer. Karty sú natívne Gen5; Rome je stropovaný na Gen4.
Čo na ňom spustíte
So 128 GB zlúčenej VRAM a tenzorovými cestami fp8 natívnymi pre Blackwell si tento server trúfne na Qwen3-235B-A22B Q4 a gpt-oss-120b MXFP4 so skutočnou rezervou na KV — nad rámec toho, čo zvládnu 4x RTX 4090.
LLM — text / uvažovanie / programovanie
Čínska špička
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q3-Q4 (~112-132 GB) sa zmestí do 128 GB poolu s 8-16k ctx — vlajková konfigurácia; Qwen3-32B dense bf16 (~65 GB) s obrovským KV; Qwen3-Coder-30B-A3B agentne pri 1M ctx; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB); QwQ-32B bf16 na uvažovanie
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 natívne fp8 Q2 (~215 GB) s prelievaním do 512 GB hostiteľskej RAM — použiteľné pre dávkové spracovanie; DeepSeek-R2 32B bf16 vo viacerých streamoch (4 súbežné, jeden na kartu)
- GLM / Z.ai: GLM-4.5-Air 106B/12B fp8 (~106 GB) alebo Q6 bez problémov; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) tesne s odľahčením MoE
- Tencent Hunyuan: Hunyuan-A13B natívne fp8 (~80 GB) — Blackwell počíta fp8 bez penalizácie prevodom nahor; Hunyuan-Large Q2 s prelievaním do RAM
- ByteDance Seed-OSS-36B bf16 s natívnym 512k; ERNIE-4.5-424B Q2 (~150 GB s prelievaním)
Západná špička
- Meta Llama: Llama 3.3 70B Q4 naprieč 4x 5090 (~30-40 tok/s v jednom streame, ~270+ tok/s pri batch-32 vo vLLM); Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB); Llama 4 Maverick 400B/17B Q3 (~188 GB s prelievaním)
- Mistral: Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 vo viacerých streamoch; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
- OpenAI (otvorené váhy): gpt-oss-120b natívne MXFP4 (80 GB) so skutočným KV a dlhým kontextom — vlajkový workload pre Blackwell; gpt-oss-20b MXFP4
- Google Gemma 3: 27B multimodálne bf16 (~54 GB) dva súbežné streamy; 12B / 4B
- Microsoft Phi-4 14B dense bf16; Phi-4-reasoning destilovaný
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) tesne; Super 49B bf16 (~98 GB)
- Ďalšie: Cohere Command R+ 104B Q6 (~85 GB); Molmo 72B Q6-bf16 VLM; OLMo 2 32B; IBM Granite 4.0 H-Small
Vision-language modely
Qwen3-VL-235B-A22B Q3-Q4; Qwen3-VL-32B bf16; InternVL3.5-241B-A28B Q4 (~135 GB tesne); InternVL3 78B bf16; Llama 3.2 90B Vision Q6 (~74 GB); Pixtral Large 124B Q6 (~88 GB); Molmo 72B Q6/bf16; Gemma 3 27B multimodálne bf16; GLM-4.6V 106B fp8.
Generovanie obrázkov
FLUX.1 [dev] bf16 a fp8 (~10-18 s/obrázok pri fp8); FLUX.1 Kontext [dev]; SD 3.5 Large bf16; HunyuanImage-2.1 bf16 a Q4; HunyuanImage-3.0 base (80B MoE, 13B aktívnych) bf16 (~80 GB, vlajková stopa); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generovanie videa
Wan 2.2 MoE s dvoma expertmi bf16 (~54 GB, plný ctx); Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 oba experti (~60-80 GB); HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16 (~24 GB); Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Zvuk / reč / TTS
- ASR: Whisper v3 large / turbo (~50x rýchlejšie než reálny čas); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Hudba / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Viacmodelové / multi-tenant nasadenie
- 200B MoE v Q4 s dávkovou inferenciou (Qwen3-235B, GLM-4.5/4.6/4.7-Air) pre 8-16 súbežných používateľov
- Natívne fp8 špičkové modely — rodina DeepSeek V3, Hunyuan-Large fp8 s natívnymi cestami Blackwell
- Zmiešaný rezidentný stack: gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi na rozdelenej VRAM
- Vysokopriepustná 70B — tenzorovo paralelné vLLM / SGLang s 200+ tok/s v dávkovom súhrne
Cieľové workloady
- Produkčné nasadenie 200B+ MoE v Q3-Q4 so skutočným KV (Qwen3-235B, GLM-4.5-Air 106B)
- Natívne fp8 inferencia špičkových modelov (DeepSeek V3/R1 fp8, Hunyuan fp8) — Blackwell počíta bez prevodu nahor
- Vysokopriepustné nasadenie 70B — tenzorovo paralelné dávky cez vLLM alebo SGLang
- Štúdio na generovanie videa v bf16 (Wan 2.2 s dvoma expertmi, HunyuanVideo 13B, Mochi-1)
- Multi-tenant zmiešaný workload — 120B MoE + generovanie obrázkov + realtime hlas, všetko rezidentne
Namerané výkony
Publikované zdroje | datasheet NVIDIA RTX 5090 + komunitné benchmarky
| Benchmark | Výsledok |
|---|---|
| INT8 TOPS na kartu (datasheet NVIDIA) | 1 676 TOPS |
| Súhrnné INT8 TOPS (4 karty) | 6 704 TOPS |
| Priepustnosť pamäte na kartu | ~1 792 GB/s |
| Llama 3.3 70B Q6 cez vLLM (komunita) | 60-90 tok/s v jednom streame, 300+ tok/s v dávke |
| Qwen3-235B-A22B Q3-Q4 | Zmestí sa do 128 GB poolu s 8-16k ctx |
| gpt-oss-120b natívne MXFP4 | 80 GB — pohodlne, s rezervou na KV |
Publikované externé zdroje, nemerané na hardvéri Kentino. Kentino zverejní vlastné čísla po prvej zákazníckej zostave.
Nie je ideálny pre
- Špičkové modely 400B+ v Q4 (Kimi-K2, Mistral Large 3, Intern-S1-Pro — vyžadujú 8-GPU alebo 6x RTX Pro 6000)
- Workloady citlivé na linku PCIe Gen5 — zvoľte SKU Genoa s natívnym Gen5 x16
- Trénovanie od nuly (consumer 5090 nemá NVLink)
- Produkcia 24/7 citlivá na ECC — consumer 5090 nemá ECC; voľte L40 alebo RTX Pro 6000 Server Edition
Záruka a dodacia lehota
Zostavenie zahŕňa montáž, konfiguráciu BIOS, inštaláciu ovládačov, záťažové testovanie a overenie funkčnosti. Dodacia lehota závisí od dostupnosti komponentov a potvrdzuje sa pri objednávke.
Odporúčané doplnky
- Upgrade zdrojov na dva 2.5 kW (FSP) pre trvalé najhoršie scenáre bf16 + video — odporúčané pre 24/7
- 4 TB NVMe pre knižnicu modelov a prípravu váh MoE
- Otvorený 24U rack pre nasadenie viacerých serverov
- Na požiadanie zvážte variant na platforme Genoa s linkou Gen5 x16
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje postavené z komponentov, ktoré máme na sklade, expedujeme rýchlo; čokoľvek, čo si vyžaduje konkrétnu generáciu GPU, závisí od dostupnosti. Termín Vám oznámime ešte pred platbou, a ak sa posunie, povieme Vám to sami – nenecháme Vás, aby ste na to prišli.
Dá sa konfigurácia pred stavbou ešte zmeniť?
Takmer vždy. GPU, pamäť, úložisko aj chladenie vyberáme podľa konkrétnej objednávky a uvedená konfigurácia je skôr východiskovým bodom než pevným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný spôsob chladenia, povedzte nám to pred objednaním a zmenu Vám naceníme.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad je v Prahe a osobný odber je vítaný — väčšina ľudí, ktorí prídu, využije návštevu na to, aby si stroj prešla s naším technikom a opýtala sa na veci, ktoré sa cez e-mail riešia ťažko. Pri objednávkach v rámci Českej republiky sa snažíme doručovať aj osobne a uvedenie do prevádzky s Vami prejsť priamo na mieste.
Môžem hovoriť s niekým, kto naozaj rozumie workloadu?
Áno. Máme inžiniera, ktorý sa venuje priamo AI systémom, nie všeobecné obchodné oddelenie. Ak sa pýtate na veľkosti batchov, kvantizáciu, prepojenie alebo na to, kde bude Vaše úzke miesto, pýtajte sa — taký rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Aký model môžem na tejto konfigurácii spustiť?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Ako testujete server pred odoslaním?
Testujeme ho na reálnych AI workloadoch, nie na syntetických skóre: priepustnosť inferencie, správanie pri trvalej záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov dostanete spolu so strojom, takže výkon, ktorý sme vám sľúbili, si môžete overiť hneď v prvý deň.
Je server po doručení pripravený na prevádzku?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Expedujeme z nášho skladu v EÚ. Pri ťažkých položkách môže byť potrebná prepravná zásielka — kontaktujte nás pre cenovú ponuku dopravy a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou RMA podporou; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám, aký workload prevádzkujete, a my okolo neho navrhneme túto platformu — GPU, pamäť, úložisko aj chladenie presne na mieru.