Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Platforma podnikové třídy, sestavená a otestovaná v EU.
Kentino AI 192 Rome L40 1448TOPS
Podnikový inferenční server se 192 GB ECC
4x NVIDIA L40 pasivní | EPYC Milan | 1 448 TOPS INT8
Čtyři pasivní datacentrové karty L40 s pamětí ECC. Stejný fond 192 GB jako u 8x RTX 4090 — ale v datacentrové třídě, chráněný ECC a s OEM zárukou.
Inferenční server do racku ve formátu 4U se čtyřmi pasivními kartami NVIDIA L40 sdruženými do 192 GB ECC VRAM, jedním CPU AMD EPYC 7643 Milan (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe pro systém a dvojicí synchronizovaných 2kW ATX zdrojů. L40 je datacentrový sourozenec RTX 4090 — pasivně chlazený, vybavený ECC, s hardwarovými enkodéry NVENC/NVDEC přímo na čipu a s 3letou OEM zárukou NVIDIA. Hned po zapnutí zvládne vLLM, SGLang, llama.cpp, Triton i TensorRT-LLM.
Hardware
| Komponenta | Detail |
|---|---|
| GPU | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, pasivní, 300 W, dvouslotové, PCIe 4.0 x16) |
| Fond VRAM | 192 GB ECC napříč 4 kartami (L40 nemá NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x linka PCIe 4.0) |
| Základní deska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Systémový disk / úložiště | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Dva 2kW ATX zdroje se synchronizačním kabelem |
| Skříň | Rackové provedení 4U s řízeným prouděním vzduchu zepředu dozadu |
| Chlazení | Arctic Freezer 4U-M SP3 tower + 3x 120 mm přední sání + 1x 120 mm zadní výfuk |
| Síť | Integrované dvojité 10 GbE (Intel X550) |
Energetická bilance
- Odběr GPU: 4 x 300 W = 1 200 W
- Celkem systém při plné zátěži: ~1 525 W
- Zdroje celkem: 4 000 W (dva synchronizované 2kW) — rezerva 61.9 %
- Dva zdroje pro rozdělené napájení a schopnost N+1
Topologie linek
PCIe Gen4 x16 na každou kartu (L40 je nativně Gen4). Přímé připojení ke kořenovému komplexu jediného EPYC — bez PCIe přepínače. Bez NVLink — provoz mezi GPU běží po PCIe peer-to-peer. Tři sloty x16 zůstávají volné pro rozšíření o NIC či úložiště.
Co na něm můžete provozovat
Se 192 GB ECC VRAM napříč 4 datacentrovými kartami zvládne tento server špičkové MoE modely nad 200B v Q4, podnikové multi-tenant nasazení s přísnou SLA i produkční inferenci 24/7 bez driftu způsobeného překlopením bitů.
LLM — text / uvažování / programování
Čínská špička
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) s dlouhým kontextem — hlavní konfigurace (~12-18 tok/s v jednom streamu na 4x L40); Qwen3-Coder-480B-A35B Q2 (~160 GB, těsné); Qwen3.5-122B-A10B fp8 (~75 GB) s obrovskou KV cache; Qwen3-32B dense bf16 ve více souběžných streamech
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB s mírným přetečením do RAM); DeepSeek-R2 32B — 4x souběžný stream, jeden na kartu
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — ideální volba pro tuto třídu; GLM-4.5-Air 106B/12B fp8 nebo bf16
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — 389B MoE s kontextem 256k; Hunyuan-A13B fp8 (~80 GB) s obrovskou KV cache
- Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB)
Západní špička
- Meta Llama: Llama 3.3 70B bf16 s obrovskou KV cache (~15-18 tok/s v jednom streamu na 4x L40); Llama 4 Scout bf16 (~218 GB) těsné; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) s rezervou; Mistral Small 3 ve více streamech
- OpenAI (otevřené váhy): gpt-oss-120b MXFP4 (80 GB) s velkorysou KV cache
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 ve více streamech
- Google Gemma 3: 27B multimodální bf16 — více současně zavedených streamů
- Další: Cohere Command R+ 104B Q6 (~85 GB); OLMo 3.1 32B; Reka Flash 3 21B; IBM Granite 4.0 H-Small
Vision-language modely
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6-bf16; Molmo 72B bf16; GLM-4.6V 106B fp8; Gemma 3 27B multimodální ve více streamech; InternVL3 78B bf16; DeepSeek-VL2 v celé šíři.
Generování obrázků
FLUX.1 [dev] / [schnell] bf16 se souběžným generováním (~3-4 s na obrázek 1024x1024 na L40); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 2-3 souběžně; HunyuanImage-2.1 bf16 (~34 GB) ve více streamech; HunyuanImage-3.0 base (80B MoE, 13B aktivních) bf16 (~80 GB); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generování videa
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 s oběma experty a plným kontextem; Wan 2.2 TI2V-5B rychlá varianta; HunyuanVideo 13B bf16 s oběma experty; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB) ve více streamech; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Zvuk / řeč / TTS
- ASR: Whisper v3 large / turbo (~50x rychleji než v reálném čase); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Hudba / zvukové efekty: MusicGen / AudioGen / Bark; SeamlessM4T v2
Provoz více modelů / multi-tenant
- Podniková produkční LLM brána — Qwen3-235B Q4 nebo GLM-4.5/4.6 Q4 obsluhující 16-32 souběžných uživatelů s přísnou SLA
- Smíšený rezidentní stack: 235B MoE + FLUX.1 + Whisper-turbo + Moshi s rozdělenou VRAM a ochranou ECC
- Živé video + AI pipeline — hardwarové enkodéry NVENC/NVDEC obslouží 6-8 paralelních pipeline pro titulkování a moderaci
- Multi-tenant RAG — embedder na straně dotazu + 70B reader + reranker s P99 latencí pod jednu sekundu
Cílové workloady
- Produkční LLM inference 24/7 nad fondem 192 GB (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Podnikový multi-tenant provoz s přísnou SLA — spolehlivost ECC při dlouhých běhech
- RAG + provoz vektorové databáze se souběžně běžícími kvalitními vyhledávacími modely
- Mediální a video AI pipeline — hardwarová cesta NVENC / NVDEC, VFX rendering, přepis a překlad
- Datacentrová nasazení s tichým provozem — pasivní karty, nízká hlučnost i v blízkosti kanceláří
Naměřený výkon
Publikované reference | datasheet NVIDIA L40 + komunitní benchmarky
| Benchmark | Výsledek |
|---|---|
| INT8 TOPS na kartu (datasheet NVIDIA) | 362 TOPS |
| INT8 TOPS souhrnně (4 karty) | 1 448 TOPS |
| VRAM na kartu | 48 GB ECC GDDR6, propustnost 864 GB/s |
| Llama 3.3 70B Q6 přes vLLM (komunita) | 30-50 tok/s v jednom streamu, 150+ tok/s při batch-16 |
| FLUX.1 [dev] bf16 na L40 (komunita) | ~3-4 s na obrázek 1024x1024 |
| NVENC / NVDEC | Hardwarové enkodéry 8. generace přímo na čipu (video AI pipeline) |
Publikované externí reference, nikoli měření na hardwaru Kentino. Vlastní naměřené hodnoty Kentino zveřejní po první zákaznické sestavě.
Pro co není ideální
- Trénování velkých modelů od nuly (bez NVLink, omezený FP8 tensor výkon)
- Levná inference pro jednoho uživatele (4x L4 nebo 2x L40 vyjde výrazně levněji)
- Dense bf16 70B s velmi dlouhým kontextem u jednoho modelu — vhodnější jsou 2x RTX Pro 6000 Server Edition (stejný fond 192 GB, nižší režie tensor paralelismu)
Záruka a dodací lhůta
3letá OEM záruka NVIDIA na L40 + záruka Kentino na integraci. Sestavení zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zátěžové testování a ověření funkčnosti. Dodací lhůta závisí na dostupnosti komponent a potvrzujeme ji při objednávce.
Doporučené doplňky
- Navýšení RAM na 512 GB (doplnění 4x 64 GB DDR4 — čtyři sloty DIMM zůstávají volné)
- 4 TB NVMe pro přípravu knihovny modelů
- Kompletní rackový rozvaděč 24U s řízenou PDU + online UPS 5 kVA
Otázky, které nám kupující kladou před objednávkou serveru nejčastěji.
Jak dlouho to trvá?
Stroje sestavené z komponent, které máme skladem, expedujeme rychle; cokoli, co vyžaduje konkrétní generaci GPU, závisí na dostupnosti. Termín Vám sdělíme ještě před platbou, a pokud se posune, dáme Vám vědět sami, místo abyste na to museli přijít.
Lze konfiguraci změnit ještě před sestavením?
Téměř vždy. GPU, paměť, úložiště i chlazení volíme podle konkrétní objednávky a uvedená konfigurace je spíš výchozím bodem než pevně daným balíkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiné řešení chlazení, dejte nám vědět ještě před objednávkou a změnu Vám naceníme.
Mohu si server vyzvednout osobně?
Ano, můžete. Náš sklad je v Praze a osobní odběr vítáme — většina těch, kdo přijedou, využije návštěvu k tomu, aby si stroj prošla s naším technikem a zeptala se na věci, které se e-mailem řeší těžko. U objednávek v rámci České republiky se také snažíme doručovat osobně a provést Vás nastavením přímo na místě.
Mohu mluvit s někým, kdo opravdu rozumí workloadu?
Ano. Máme inženýra, který se věnuje přímo AI systémům, nikoli obecné obchodní oddělení. Pokud se ptáte na velikosti batchů, kvantizaci, propojení nebo na to, kde bude Vaše úzké hrdlo, zeptejte se — takový rozhovor obvykle posune konfiguraci k lepšímu.
Jaký model na této konfiguraci spustím?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Jak testujete server před expedicí?
Testujeme ji na skutečných AI workloadech, ne na syntetických skóre: propustnost inference, chování při dlouhodobé zátěži a teploty v nepřetržitém provozu. Výsledky benchmarků dostanete spolu se strojem, takže si slíbený výkon můžete ověřit hned první den.
Je server po dodání připravený k provozu?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Expedujeme z našeho skladu v EU. U těžkých položek může být nutná přeprava nákladní dopravou — napište si o cenovou nabídku dopravy a dodací lhůtu. Dvouletá omezená záruka s přednostním RMA servisem, prodloužená záruka na vyžádání.
Není to přesně to, co potřebujete?
Řekněte nám, jaký workload provozujete, a my Vám tuto platformu navrhneme na míru — GPU, paměť, úložiště i chlazení podle toho, co u Vás skutečně běží.