Kentino AI 96 Rome 4090 2644TOPS — AI inferenčný server so 4× RTX 4090
Platforma na podnikovej úrovni, zostavená a otestovaná v EÚ.
Kentino AI 96 Rome 4090 2644TOPS
Inferenčný server so 96 GB VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Namerané na hardvéri Kentino. Llama 3.3 70B AWQ INT4 cez vLLM 0.19.0.
4U inferenčný server do racku so štyrmi GeForce RTX 4090 zlúčenými do 96 GB VRAM, jedným CPU AMD EPYC 7542 Rome (32C/64T), 256 GB DDR4 ECC, 2 TB NVMe pre systém a dvoma synchronizovanými 2 kW ATX zdrojmi. Bez ďalšieho nastavovania zvláda vLLM, SGLang, llama.cpp, ComfyUI a všetky hlavné open-weight inferenčné stacky.
Hardvér
| Komponent | Detail |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| VRAM pool | 96 GB spolu naprieč 4 kartami |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x PCIe 4.0 lanes) |
| Základná doska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Úložisko | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Dva 2 kW ATX so synchronizačným káblom |
| Šasi | 4U do racku, smerované prúdenie vzduchu spredu dozadu |
| Chladenie | Tower chladič SP3, 3x predný + 1x zadný 120 mm priemyselný ventilátor |
| Sieť | Onboard duálny 10 GbE (Intel X550) |
Energetická bilancia
- Odber GPU: 4 x 450 W = 1 800 W
- Systém spolu: ~2 125 W
- Zdroje spolu: 4 000 W (dva 2 kW) — 46.9% rezerva
- Rozdelené napájanie — zlyhanie jedného zdroja = strata 2 GPU alebo 2 GPU + základnej dosky
Topológia liniek
128 liniek PCIe Gen4 z EPYC do siedmich x16 slotov; štyri obsadené GPU v režime Gen4 x16. Žiadny PCIe switch. Žiadny NVLink — peer-to-peer na 19-22 GB/s (namerané Kentino).
Čo na ňom môžete spustiť
So 96 GB zlúčenej VRAM naprieč 4 kartami tento server zvláda open-weight LLM, vizuálne modely, generovanie obrázkov a videa, rečovú AI a viacnájomné servovanie.
LLM — text / uvažovanie / programovanie
Čínska špička
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B at 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB) 256k ctx dvojrežimové uvažovanie
- Ďalšie: Seed-OSS-36B Q4 512k ctx; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Západná špička
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s llama.cpp, ~179 tok/s batch-32 vLLM — namerané Kentino); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B na uvažovanie; Devstral Small 2 24B 256k ctx; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB tesne)
- Ďalšie: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Vizuálno-jazykové modely
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 up to 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Generovanie obrázkov
FLUX.1 [dev]/[schnell] fp8 (~15-25 s per 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) 2K native; Kolors 2.0; AuraFlow; OmniGen v1.
Generovanie videa
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Audio / reč / TTS
- ASR: Whisper v3 turbo (~50x v reálnom čase); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- V reálnom čase: Kyutai Moshi (200 ms full-duplex); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Hudba: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Servovanie viacerých modelov
- 4-8 súbežných používateľov na LLM 32-72B cez vLLM / SGLang tensor-parallel
- Zmiešane: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi s rozdelenou VRAM
- LoRA/QLoRA doladenie 32-72B; plné doladenie 7-14B
- RAG s Command R+ alebo Qwen3 + BGE-M3/E5/Jina
Cieľové workloady
- Inferenčná brána pre organizáciu s 50-200 používateľmi (70B Q4-Q6, 4-8 súbežných relácií)
- Dávková difúzna/video pipeline (SDXL + FLUX.1 + Wan 2.2 cez noc)
- Laboratórium na LoRA/QLoRA doladenie doménových adaptácií 7-34B
- RAG dokumentový asistent (Qwen3-VL + BGE-M3 + Command R, 32k ctx)
- Zmiešane v jednej skrini: chat + obrázky + ASR + hlas v reálnom čase na rozdelenej VRAM
Nameraný výkon
Kentino bench | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Benchmark | Výsledok |
|---|---|
| Trvalý výkon (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (jeden request) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (batch-32) | 179.3 tok/s celkovo |
| llama.cpp Llama 3.3 70B Q4_K_M (jeden request) | 20.3 tok/s |
| Vyhodnotenie promptu | 1 568 tok/s |
| Priepustnosť pamäte GPU | 920 GB/s na kartu |
| NVMe čítanie/zápis | 4 589 / 4 213 MB/s |
| Špičková teplota (GPU+CPU burn) | 73 C, pokles 0.6% |
vLLM použil kernel awq — s awq_marlin je možné 2-3x.
Nevhodné pre
- Špičkové husté modely 100B+ v bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — vyžadujú 256+ GB VRAM)
- Tréning od nuly (spotrebiteľské RTX 4090 nemajú NVLink)
Záruka a dodacia lehota
Zostava zahŕňa montáž, konfiguráciu BIOS, inštaláciu ovládačov, záťažové testovanie a funkčnú kontrolu. Dodacia lehota závisí od dostupnosti komponentov a potvrdzuje sa pri objednávke.
Odporúčané doplnky
- Rozšírenie RAM na 512 GB (pridať 4x 64 GB DDR4 — štyri sloty DIMM sú voľné)
- Sekundárny 4 TB NVMe disk na prípravu datasetov a modelov
- 24U otvorený rack pre nasadenia s viacerými servermi
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje postavené z komponentov, ktoré máme na sklade, expedujeme rýchlo; čokoľvek, čo si vyžaduje konkrétnu generáciu GPU, závisí od dostupnosti. Termín Vám oznámime ešte pred platbou, a ak sa posunie, povieme Vám to sami – nenecháme Vás, aby ste na to prišli.
Dá sa konfigurácia pred stavbou ešte zmeniť?
Takmer vždy. GPU, pamäť, úložisko aj chladenie vyberáme podľa konkrétnej objednávky a uvedená konfigurácia je skôr východiskovým bodom než pevným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný spôsob chladenia, povedzte nám to pred objednaním a zmenu Vám naceníme.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad je v Prahe a osobný odber je vítaný — väčšina ľudí, ktorí prídu, využije návštevu na to, aby si stroj prešla s naším technikom a opýtala sa na veci, ktoré sa cez e-mail riešia ťažko. Pri objednávkach v rámci Českej republiky sa snažíme doručovať aj osobne a uvedenie do prevádzky s Vami prejsť priamo na mieste.
Môžem hovoriť s niekým, kto naozaj rozumie workloadu?
Áno. Máme inžiniera, ktorý sa venuje priamo AI systémom, nie všeobecné obchodné oddelenie. Ak sa pýtate na veľkosti batchov, kvantizáciu, prepojenie alebo na to, kde bude Vaše úzke miesto, pýtajte sa — taký rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Aký model môžem na tejto konfigurácii spustiť?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Ako testujete server pred odoslaním?
Testujeme ho na reálnych AI workloadoch, nie na syntetických skóre: priepustnosť inferencie, správanie pri trvalej záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov dostanete spolu so strojom, takže výkon, ktorý sme vám sľúbili, si môžete overiť hneď v prvý deň.
Je server po doručení pripravený na prevádzku?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Expedujeme z nášho skladu v EÚ. Pri ťažkých položkách môže byť potrebná prepravná zásielka — kontaktujte nás pre cenovú ponuku dopravy a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou RMA podporou; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám, aký workload prevádzkujete, a my okolo neho navrhneme túto platformu — GPU, pamäť, úložisko aj chladenie presne na mieru.