Kentino AI 96 Rome L40 724TOPS — 2x NVIDIA L40 ECC produkční inferenční server
Platforma podnikové třídy, sestavená a otestovaná v EU.
Kentino AI 96 Rome L40 724TOPS
2x L40 produkční server s ECC
96 GB ECC VRAM | EPYC Milan | 724 TOPS INT8
Vstupní enterprise stroj s ECC pro provoz 24/7 — 2x pasivní L40, pool 96 GB ECC VRAM, datacentrová alternativa k řadě 4090 pro regulovaná nasazení.
Produkční inferenční server se dvěma GPU, postavený na základní desce ROMED8-2T s EPYC Milan a dvěma pasivními kartami NVIDIA L40. Pool 96 GB ECC GDDR6 nabízí stejný objem VRAM jako tahoun se 4x RTX 4090, ale s plnou datacentrovou certifikací, ECC pamětí na každé kartě a tepelným návrhem pro nepřetržitý provoz 24/7. Správná volba všude tam, kde by RTX 4090 vyvolávala otázky ohledně záruky, spolehlivosti nebo compliance — ve financích, zdravotnictví, formální verifikaci a při jakémkoli trvalém produkčním provozu LLM / VLM.
Hardware
| Komponenta | Detail |
|---|---|
| GPU | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, pasivní, 300 W, dvouslotové, PCIe 4.0 x16) |
| Pool VRAM | 96 GB ECC (bez NVLink) |
| CPU | AMD EPYC 7643 Milan (48 jader / 96 vláken, 225 W, 128x linka PCIe 4.0) |
| Základní deska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Boot / úložiště | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Jeden zdroj ATX 2 kW |
| Skříň | 4U do racku, pasivní risery Gen4 x16 |
| Chlazení | Věžový chladič SP3 (Arctic Freezer 4U-M), 3x 120 mm přívod vpředu + 1x 120 mm odvod vzadu |
| Síť | Integrované dvojité 10 GbE (Intel X550) + IPMI |
Energetická bilance
- Odběr GPU: 2 x 300 W = 600 W
- Celý systém při plné zátěži: ~925 W
- Zdroj celkem: 2 000 W — rezerva 53.8 %
- Pohodlná rezerva na jednom zdroji, tichý provoz
Topologie linek
PCIe Gen4 x16 u obou GPU (L40 je nativně Gen4 x16). 16 linek přímo z root komplexu CPU — bez PCIe switche. L40 nemá NVLink — komunikace mezi GPU probíhá přes PCIe P2P. Propustnost paměti 864 GB/s na kartu.
Co na něm rozběhnete
S 96 GB ECC VRAM na dvou pasivních kartách L40 zvládne tento server nepřetržitý enterprise provoz LLM, regulovaná nasazení, generování obrazu i videa a víceuživatelskou inferenci tam, kde záleží na spolehlivosti ECC a datacentrové záruce.
LLM — text / uvažování / programování
Čínská špička
- Qwen3-32B bf16 na jedné L40 s rezervou pro 32k ctx (~18-22 tok/s v jednom streamu na L40, publikovaná reference)
- Qwen3.5-27B bf16; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB), 256k ctx
- Qwen3.5-122B-A10B Q4 (~70 GB) — vlajková loď MoE, dlouhý ctx
- QwQ-32B bf16; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B řídké MoE bf16 — zvládne jedno GPU, dva paralelní streamy
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB s rezervou)
- Seed-OSS-36B bf16 — nativní ctx 512k; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (medicínské uvažování — zde se ECC vyplatí)
Západní špička
- Llama 3.3 70B Q6 (~58 GB) s rezervou pro KV; Q4_K_M (~43 GB) velmi dlouhý ctx (~15-18 tok/s v jednom streamu na 2x L40, publikovaná reference)
- Hermes 3 70B / Tulu 3 70B Q4-Q6; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) s místem pro KV
- Gemma 3 27B multimodální bf16 se 128k ctx
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8; IBM Granite 4.0 H-Small 32B/9B — enterprise compliance
- Reka Flash 3 21B bf16; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Vision-language modely
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B; InternVL3 až do 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2; ERNIE-4.5-VL-28B-A3B-Thinking; Llama 3.2 11B Vision bf16; Pixtral 12B bf16; Gemma 3 12B / 27B multimodální; PaliGemma 2 (3/10/28B); MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V-Flash; Molmo 72B Q4; Aya Vision 32B.
Generování obrazu
L40 má tenzorová jádra Ada a propustnost paměti 864 GB/s na kartu — solidní základ pro produkční obrazové pipeline: FLUX.1 [dev] / [schnell] fp16 (~24 GB) nebo fp8 (~12 GB) (~15-25 sekund na snímek 1024x1024 ve fp8, publikovaná reference); FLUX.1 Kontext [dev]; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0 + ControlNet + AnimateDiff; HunyuanImage-2.1 bf16 (~34 GB); Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generování videa
HunyuanVideo 13B bf16 se vejde na jednu L40 pro krátký klip v 720p; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) tenzorově paralelně na dvě karty; Wan 2.2 TI2V-5B bf16 na kartu; Wan 2.1 14B fp8 / bf16; HunyuanVideo 1.5 (8.3B) bf16; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB); LTX-Video 2B; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / řeč / TTS
- ASR: Whisper v3 large / turbo (~50x rychleji než reálný čas na jednom GPU, publikovaná reference); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi (plně duplexní, latence 200 ms); Step-Audio 2 mini / R1 / R1.1; Qwen2.5-Omni-7B
- Hudba / zvukové efekty / překlad: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2; MMS
Provoz více modelů / více nájemců
- 4-8 souběžných uživatelů na LLM třídy 32-70B přes vLLM tenzorově paralelně nebo s rozdělením po kartách
- Smíšený stack: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi současně v rozdělené VRAM
- Inference s LoRA a lehký fine-tuning modelů 7-14B; u menších modelů i plný fine-tuning
- RAG pipeline s Command R / Qwen3 + embeddingy BGE-M3 / E5 / Jina
Cílové workloady
- Nepřetržitý enterprise provoz LLM — 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Regulovaná nasazení vyžadující ECC paměť (finance, zdravotnictví, formální verifikace)
- Provoz s dlouhým kontextem — Seed-OSS-36B s 512k ctx se do poolu 96 GB vejde s rezervou
- Provoz MoE střední třídy — Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- Zpracování dokumentů pomocí VLM — InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Publikované výkonnostní reference
Publikovaná reference | srovnatelný hardware 2x NVIDIA L40
| Benchmark | Výsledek |
|---|---|
| Llama 3.3 70B Q4_K_M rozdělená tenzorově na 2x L40 | ~15-18 tok/s v jednom streamu |
| Qwen3-32B bf16 na jedné L40 | ~18-22 tok/s v jednom streamu |
| vLLM Hunyuan-A13B Q6 na poolu 2x L40 | ~28-34 tok/s v jednom streamu |
| HunyuanVideo 13B bf16 na jedné L40 | Krátký klip v 720p — vejde se do 48 GB |
| Parametry na kartu | 362 TOPS INT8, 864 GB/s, TDP 300 W |
Publikované hodnoty, neměřeno na hardwaru Kentino.
Nehodí se pro
- Optimalizaci ceny za TFLOPS — 4x RTX 4090 dá souhrnně 2 644 TOPS za ~40 % ceny komponent (ovšem bez ECC a datacentrové záruky)
- Špičkové husté modely 200B+ — strop poolu 96 GB (je potřeba varianta s 192+ GB)
- Generování dlouhého videa v plném rozlišení v bf16 (Wan 2.2 MoE se dvěma experty potřebuje více VRAM)
- Trénink od nuly — L40 je certifikovaná pro inferenci; na trénink použijte RTX Pro 6000 / workstation Blackwell
Záruka a dodací lhůta
Tříletá datacentrová OEM záruka NVIDIA na karty L40 a záruka Kentino na integraci (2 roky na díly, 1 rok na práci). Sestavení zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zátěžový burn-in test a funkční ověření.
Doporučené doplňky
- Upgrade na 4x L40 (Kentino AI 192 Rome L40 1448TOPS) pro pool 192 GB ECC a provoz špičkových modelů
- Rozšíření RAM na 512 GB (doplnění 4x 64 GB DDR4) pro větší embedding a rerankovací stacky
- Rozšíření NVMe na 4 TB pro knihovnu modelů a přípravu datasetů
- Redundantní zdroj (dva synchronizované 2 kW) na vyžádání
- Rackové PDU a online UPS 3 kVA pro produkční kolokaci
Otázky, které nám kupující kladou před objednávkou serveru nejčastěji.
Jak dlouho to trvá?
Stroje sestavené z komponent, které máme skladem, expedujeme rychle; cokoli, co vyžaduje konkrétní generaci GPU, závisí na dostupnosti. Termín Vám sdělíme ještě před platbou, a pokud se posune, dáme Vám vědět sami, místo abyste na to museli přijít.
Lze konfiguraci změnit ještě před sestavením?
Téměř vždy. GPU, paměť, úložiště i chlazení volíme podle konkrétní objednávky a uvedená konfigurace je spíš výchozím bodem než pevně daným balíkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiné řešení chlazení, dejte nám vědět ještě před objednávkou a změnu Vám naceníme.
Mohu si server vyzvednout osobně?
Ano, můžete. Náš sklad je v Praze a osobní odběr vítáme — většina těch, kdo přijedou, využije návštěvu k tomu, aby si stroj prošla s naším technikem a zeptala se na věci, které se e-mailem řeší těžko. U objednávek v rámci České republiky se také snažíme doručovat osobně a provést Vás nastavením přímo na místě.
Mohu mluvit s někým, kdo opravdu rozumí workloadu?
Ano. Máme inženýra, který se věnuje přímo AI systémům, nikoli obecné obchodní oddělení. Pokud se ptáte na velikosti batchů, kvantizaci, propojení nebo na to, kde bude Vaše úzké hrdlo, zeptejte se — takový rozhovor obvykle posune konfiguraci k lepšímu.
Jaký model na této konfiguraci spustím?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Jak testujete server před expedicí?
Testujeme ji na skutečných AI workloadech, ne na syntetických skóre: propustnost inference, chování při dlouhodobé zátěži a teploty v nepřetržitém provozu. Výsledky benchmarků dostanete spolu se strojem, takže si slíbený výkon můžete ověřit hned první den.
Je server po dodání připravený k provozu?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Expedujeme z našeho skladu v EU. U těžkých položek může být nutná přeprava nákladní dopravou — napište si o cenovou nabídku dopravy a dodací lhůtu. Dvouletá omezená záruka s přednostním RMA servisem, prodloužená záruka na vyžádání.
Není to přesně to, co potřebujete?
Řekněte nám, jaký workload provozujete, a my Vám tuto platformu navrhneme na míru — GPU, paměť, úložiště i chlazení podle toho, co u Vás skutečně běží.