Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Platforma podnikové třídy, sestavená a otestovaná v EU.
Kentino AI 288 Rome L40 2172TOPS
Enterprise server s 288 GB ECC VRAM
6x NVIDIA L40 pasivní | EPYC Milan | 2 172 TOPS INT8
Publikované externí reference. Neměřeno na hardwaru Kentino.
4U rackový enterprise inferenční server se šesti pasivními datacentrovými kartami NVIDIA L40 Ada Lovelace (48 GB ECC každá) sdruženými do 288 GB ECC VRAM, jedním CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe pro systém a dvojicí synchronizovaných zdrojů 2.5 kW ATX. ECC v celém řetězci, účelově stavěný pro nepřetržitý podnikový provoz, kde záleží na integritě na úrovni bitů a na servisovatelných doménách výpadku.
Hardware
| Komponenta | Detail |
|---|---|
| GPU | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, pasivní datacentrová, 300 W, PCIe 4.0 x16, dvouslotová, 362 INT8 TOPS/karta) |
| Fond VRAM | 288 GB ECC celkem napříč 6 kartami (L40 v provedení PCIe nemá NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x linka PCIe 4.0) |
| Základní deska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 sloty DIMM volné pro rozšíření na 512 GB) |
| Systémový disk / úložiště | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | 2x 2.5 kW ATX se synchronizačním kabelem pro dva zdroje (5 kW celkem) |
| Šasi | 4U do racku (uspořádání se 6 sloty) |
| Chlazení | Věžový chladič SP3 (třída Arctic Freezer 4U-M) + řízené proudění vzduchu zepředu dozadu (průmyslové ventilátory) |
| Síť | Integrované dvojité 10 GbE (Intel X550) |
Výkonová bilance
- Odběr GPU: 6 x 300 W = 1 800 W
- Celkem systém při plné zátěži: ~2 175 W
- Zdroje celkem: 5 000 W (dva synchronizované 2.5 kW) — rezerva 56.5%
- Dva zdroje pro rozdělené napájení — výpadek jednoho zdroje = ztráta 2 GPU nebo 2 GPU a základní desky
Topologie linek
ROMED8-2T nabízí 7x PCIe 4.0 x16 přímo z EPYC Milan. Šest slotů je osazeno pasivními risery Gen4 x16 — jeden slot zůstává volný pro síťovou kartu nebo úložiště. Není potřeba PCIe switch. Nativní rozhraní L40 je PCIe 4.0 x16 — žádná ztráta propustnosti. Bez NVLinku; provoz mezi GPU jde peer-to-peer přes PCIe.
Co na něm rozběhnete
S 288 GB sdružené ECC VRAM napříč 6 pasivními kartami L40 tento server zvládne špičkové open-weight LLM v Q4, souběžný provoz více modelů, video a mediální pipeline i nepřetržitou podnikovou produkční inferenci. Pozor: L40 je Ada Lovelace, ne Blackwell — fp8 se převádí na bf16. Pro maximální efektivitu VRAM používejte GGUF Q4/Q5 nebo AWQ/GPTQ int4.
LLM — text / uvažování / kódování
Čínská špička
- Qwen3-235B-A22B Q4 (~132 GB) s velmi dlouhým kontextem a štědrým rozpočtem na KV (~15-20 tok/s jeden stream, publikovaná reference)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) pohodlně na šesticestném TP (~12-18 tok/s jeden stream, publikovaná reference)
- Hunyuan-Large 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB) vlajkový kódovací agent
- MiniMax-M1 / Text-01 Q3 (~180 GB) Lightning Attention s kontextem 1M
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — na jedné kartě se 6 paralelními streamy
- DeepSeek-R2 32B řídké MoE — jedna karta na stream, 6 souběžných relací
Západní špička
- Llama 3.3 70B bf16 (~142 GB) multi-tenant provoz (~17 tok/s jeden stream, publikovaná reference), nebo Q4 (~43 GB) v 6 souběžných kopiích
- Llama 4 Scout 109B/17B bf16 (~218 GB natěsno) nebo Q4 (~63 GB) pohodlně
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s jeden stream, publikovaná reference)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB přes GGUF na Ada — pozor na převod u Ada)
- Cohere Command R+ 104B Q4 pro RAG stack
Vision-language modely
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodální; GLM-4.6V v plné velikosti (106B bf16); MiniCPM-o 2.6. NVENC/NVDEC karty L40 se obzvlášť hodí pro vysokoprůtokové VLM pipeline nad dokumenty a videem.
Generování obrázků
FLUX.1 [dev] / Kontext / Tools souběžně na více workerech (~3.5 s na obrázek 1024x1024 na jedné L40 ve fp8, publikovaná reference) — možná je farma 6x ComfyUI worker; SD 3.5 Large; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Generování videa
Wan 2.2 T2V-A14B / I2V-A14B dvojexpertní bf16 (~54 GB, ~20-30 s na 4s klip v 720p, publikovaná reference); HunyuanVideo 13B bf16 oba experti; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. Hardwarové NVENC/NVDEC karty L40 zvládne titulkování, moderaci a transkódování ve velkém souběžně s generováním.
Audio / řeč / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Provoz více modelů / více tenantů
- Rezidentně více modelů najednou — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + embedder, vše v paměti
- 6 souběžných workloadů třídy 48 GB (jeden na kartu): 6x Qwen3-VL-32B, nebo 6x worker FLUX.1, nebo 6x ASR stream
- Šesticestný tensor parallel pro MoE nad 200B v Q4 s reálným kontextem
- RAG pipeline — Command R+ / Qwen3 + reranker + embedder + analýza obrazu na jednom stroji
Cílové workloady
- Nepřetržitý produkční backend pro LLM inferenci — 100+ souběžných uživatelů nad MoE 200B+ v Q4, chráněno ECC
- Mediální AI pipeline v podnikovém měřítku — titulkování, moderace, náhledy a transkódování v 6 paralelních streamech přes NVENC/NVDEC
- Multi-tenant SaaS, kde záleží na izolaci tenantů na úrovni fyzických karet
- RAG backend s readerem Command R+, rerankerem, embedderem a vizí plně v paměti
- Dvojice zaměřená na spolehlivost jako náhrada za 12x L40 Legacy — dva servery Kentino AI 288 = 576 GB celkem s nezávislými doménami výpadku
Publikované výkonnostní reference
Externí reference | Neměřeno na hardwaru Kentino
| Benchmark | Výsledek |
|---|---|
| INT8 TOPS na jednu kartu L40 | 362 TOPS |
| Propustnost paměti L40 | 864 GB/s na kartu |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 v TP (jeden stream) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 v TP (dávka 16) | ~150-200 tok/s agregovaně |
| llama.cpp — GLM-4.6 Q4 na 6x L40 (jeden stream) | ~12-18 tok/s |
| FLUX.1 [dev] na jedné L40 ve fp8 | ~3.5 s na obrázek 1024x1024 |
Kentino zveřejní vlastní naměřená čísla po první zákaznické sestavě.
Nehodí se na
- nativní fp8 inferenci v plné rychlosti — Ada převádí na bf16; použijte raději GGUF Q4/Q5 nebo AWQ/GPTQ int4. Pro nativní fp8 viz Kentino AI 384 Rome RTXPro6000 (Blackwell)
- Trénink velkých modelů od nuly (bez NVLinku)
- Rozpočtovou inferenci pro jednoho uživatele — 4x L4 nebo 4x 5080 vyjde u malých workloadů výrazně levněji
- Špičkové husté modely 600B+ v Q4 a výš (vyžadují fond 576 GB+ — viz 6x RTX Pro 6000)
Záruka a dodací lhůta
Sestava zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zátěžový test, memtest a funkční ověření. Dodací lhůta závisí na dostupnosti komponent a potvrzuje se při objednávce.
Doporučené doplňky
- Rozšíření RAM na 512 GB DDR4 (doplnit 2x 64 GB — 2 sloty DIMM volné) pro větší rozpočet na KV
- 4 TB NVMe Gen4 x4 pro knihovnu modelů
- Kompletní rackový rozvaděč 24U s řízenou PDU a online UPS (zásadní pro nepřetržité ECC workloady)
- Druhá jednotka Kentino AI 288 do páru — nahradí výkonovou obálku 12x L40 Legacy dvěma nezávislými doménami výpadku
Otázky, které nám kupující kladou před objednávkou serveru nejčastěji.
Jak dlouho to trvá?
Stroje sestavené z komponent, které máme skladem, expedujeme rychle; cokoli, co vyžaduje konkrétní generaci GPU, závisí na dostupnosti. Termín Vám sdělíme ještě před platbou, a pokud se posune, dáme Vám vědět sami, místo abyste na to museli přijít.
Lze konfiguraci změnit ještě před sestavením?
Téměř vždy. GPU, paměť, úložiště i chlazení volíme podle konkrétní objednávky a uvedená konfigurace je spíš výchozím bodem než pevně daným balíkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiné řešení chlazení, dejte nám vědět ještě před objednávkou a změnu Vám naceníme.
Mohu si server vyzvednout osobně?
Ano, můžete. Náš sklad je v Praze a osobní odběr vítáme — většina těch, kdo přijedou, využije návštěvu k tomu, aby si stroj prošla s naším technikem a zeptala se na věci, které se e-mailem řeší těžko. U objednávek v rámci České republiky se také snažíme doručovat osobně a provést Vás nastavením přímo na místě.
Mohu mluvit s někým, kdo opravdu rozumí workloadu?
Ano. Máme inženýra, který se věnuje přímo AI systémům, nikoli obecné obchodní oddělení. Pokud se ptáte na velikosti batchů, kvantizaci, propojení nebo na to, kde bude Vaše úzké hrdlo, zeptejte se — takový rozhovor obvykle posune konfiguraci k lepšímu.
Jaký model na této konfiguraci spustím?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Jak testujete server před expedicí?
Testujeme ji na skutečných AI workloadech, ne na syntetických skóre: propustnost inference, chování při dlouhodobé zátěži a teploty v nepřetržitém provozu. Výsledky benchmarků dostanete spolu se strojem, takže si slíbený výkon můžete ověřit hned první den.
Je server po dodání připravený k provozu?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Expedujeme z našeho skladu v EU. U těžkých položek může být nutná přeprava nákladní dopravou — napište si o cenovou nabídku dopravy a dodací lhůtu. Dvouletá omezená záruka s přednostním RMA servisem, prodloužená záruka na vyžádání.
Není to přesně to, co potřebujete?
Řekněte nám, jaký workload provozujete, a my Vám tuto platformu navrhneme na míru — GPU, paměť, úložiště i chlazení podle toho, co u Vás skutečně běží.