Kentino AI 96 Rome 4090 2644TOPS — AI inferenční server se 4× RTX 4090
Platforma podnikové třídy, sestavená a otestovaná v EU.
Kentino AI 96 Rome 4090 2644TOPS
Inferenční server s 96 GB VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Měřeno na hardwaru Kentino. Llama 3.3 70B AWQ INT4 přes vLLM 0.19.0.
Inferenční server do racku ve formátu 4U se čtyřmi kartami GeForce RTX 4090 sdruženými do 96 GB VRAM, jedním procesorem AMD EPYC 7542 Rome (32C/64T), 256 GB DDR4 ECC, systémovým diskem 2 TB NVMe a dvojicí synchronizovaných zdrojů ATX 2 kW. Bez dalšího nastavování zvládne vLLM, SGLang, llama.cpp, ComfyUI i všechny hlavní inferenční stacky s otevřenými váhami.
Hardware
| Komponenta | Detail |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| Fond VRAM | 96 GB celkem napříč 4 kartami |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x linka PCIe 4.0) |
| Základní deska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová paměť | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Úložiště | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Dva zdroje ATX 2 kW se synchronizačním kabelem |
| Skříň | Rack 4U, řízené proudění vzduchu zepředu dozadu |
| Chlazení | Tower chladič SP3, 3x přední + 1x zadní průmyslový ventilátor 120 mm |
| Síť | Integrované dvojité 10 GbE (Intel X550) |
Energetická bilance
- Odběr GPU: 4 x 450 W = 1 800 W
- Celkem systém: ~2 125 W
- Celkem zdroje: 4 000 W (dva po 2 kW) — rezerva 46.9 %
- Rozdělené napájení — výpadek jednoho zdroje = ztráta 2 GPU nebo 2 GPU + základní desky
Topologie linek
128 linek PCIe Gen4 z procesoru EPYC do sedmi slotů x16; čtyři osazené GPU v režimu Gen4 x16. Žádný přepínač PCIe. Žádný NVLink — peer-to-peer na 19-22 GB/s (měřeno Kentino).
Co na něm můžete provozovat
Díky 96 GB sdružené VRAM napříč 4 kartami zvládne tento server LLM s otevřenými váhami, vizuální modely, generování obrazu i videa, řečovou AI a víceuživatelské nasazení.
LLM — text / uvažování / kódování
Čínská špička
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B na 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB), kontext 256k, dvourežimové uvažování
- Další: Seed-OSS-36B Q4 kontext 512k; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Západní špička
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s llama.cpp, ~179 tok/s batch-32 vLLM — měřeno Kentino); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B s uvažováním; Devstral Small 2 24B kontext 256k; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB, těsně)
- Další: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Vizuálně-jazykové modely
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 až do 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Generování obrazu
FLUX.1 [dev]/[schnell] fp8 (~15-25 s na 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) nativně 2K; Kolors 2.0; AuraFlow; OmniGen v1.
Generování videa
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Zvuk / řeč / TTS
- ASR: Whisper v3 turbo (~50x reálný čas); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- V reálném čase: Kyutai Moshi (200 ms plně duplexně); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Hudba: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Provoz více modelů najednou
- 4-8 souběžných uživatelů na LLM velikosti 32-72B přes vLLM / SGLang s tenzorovým paralelismem
- Smíšeně: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi s rozdělenou VRAM
- Doladění LoRA/QLoRA pro 32-72B; plné doladění parametrů pro 7-14B
- RAG s Command R+ nebo Qwen3 + BGE-M3/E5/Jina
Cílové workloady
- Inferenční brána pro organizaci s 50-200 uživateli (70B Q4-Q6, 4-8 souběžných relací)
- Dávkový pipeline pro difuzní modely a video (SDXL + FLUX.1 + Wan 2.2 přes noc)
- Laboratoř pro doladění LoRA/QLoRA při doménových adaptacích modelů 7-34B
- Dokumentový asistent s RAG (Qwen3-VL + BGE-M3 + Command R, kontext 32k)
- Vše v jedné skříni: chat + obraz + ASR + hlas v reálném čase na rozdělené VRAM
Naměřený výkon
Měření Kentino | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Benchmark | Výsledek |
|---|---|
| Trvalý výpočetní výkon (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (jeden požadavek) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (batch-32) | 179.3 tok/s souhrnně |
| llama.cpp Llama 3.3 70B Q4_K_M (jeden požadavek) | 20.3 tok/s |
| Vyhodnocení promptu | 1 568 tok/s |
| Propustnost paměti GPU | 920 GB/s na kartu |
| NVMe čtení/zápis | 4 589 / 4 213 MB/s |
| Špičková teplota (zátěž GPU+CPU) | 73 C, pokles 0.6 % |
vLLM používalo jádro awq — s awq_marlin je možné 2-3x více.
Pro co není ideální
- Husté špičkové modely 100B+ v bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — vyžadují 256+ GB VRAM)
- Trénink od nuly (spotřebitelské RTX 4090 nemají NVLink)
Záruka a dodací lhůta
Sestavení zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zátěžové testy a ověření funkčnosti. Dodací lhůta závisí na dostupnosti komponent a potvrzujeme ji při objednávce.
Doporučené doplňky
- Rozšíření paměti na 512 GB (doplnit 4x 64 GB DDR4 — čtyři sloty DIMM jsou volné)
- Druhý disk 4 TB NVMe pro přípravu datasetů a modelů
- Otevřený rack 24U pro nasazení více serverů
Otázky, které nám kupující kladou před objednávkou serveru nejčastěji.
Jak dlouho to trvá?
Stroje sestavené z komponent, které máme skladem, expedujeme rychle; cokoli, co vyžaduje konkrétní generaci GPU, závisí na dostupnosti. Termín Vám sdělíme ještě před platbou, a pokud se posune, dáme Vám vědět sami, místo abyste na to museli přijít.
Lze konfiguraci změnit ještě před sestavením?
Téměř vždy. GPU, paměť, úložiště i chlazení volíme podle konkrétní objednávky a uvedená konfigurace je spíš výchozím bodem než pevně daným balíkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiné řešení chlazení, dejte nám vědět ještě před objednávkou a změnu Vám naceníme.
Mohu si server vyzvednout osobně?
Ano, můžete. Náš sklad je v Praze a osobní odběr vítáme — většina těch, kdo přijedou, využije návštěvu k tomu, aby si stroj prošla s naším technikem a zeptala se na věci, které se e-mailem řeší těžko. U objednávek v rámci České republiky se také snažíme doručovat osobně a provést Vás nastavením přímo na místě.
Mohu mluvit s někým, kdo opravdu rozumí workloadu?
Ano. Máme inženýra, který se věnuje přímo AI systémům, nikoli obecné obchodní oddělení. Pokud se ptáte na velikosti batchů, kvantizaci, propojení nebo na to, kde bude Vaše úzké hrdlo, zeptejte se — takový rozhovor obvykle posune konfiguraci k lepšímu.
Jaký model na této konfiguraci spustím?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Jak testujete server před expedicí?
Testujeme ji na skutečných AI workloadech, ne na syntetických skóre: propustnost inference, chování při dlouhodobé zátěži a teploty v nepřetržitém provozu. Výsledky benchmarků dostanete spolu se strojem, takže si slíbený výkon můžete ověřit hned první den.
Je server po dodání připravený k provozu?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Expedujeme z našeho skladu v EU. U těžkých položek může být nutná přeprava nákladní dopravou — napište si o cenovou nabídku dopravy a dodací lhůtu. Dvouletá omezená záruka s přednostním RMA servisem, prodloužená záruka na vyžádání.
Není to přesně to, co potřebujete?
Řekněte nám, jaký workload provozujete, a my Vám tuto platformu navrhneme na míru — GPU, paměť, úložiště i chlazení podle toho, co u Vás skutečně běží.