Kentino AI 144 Rome L4 1452TOPS — 6× NVIDIA L4 — EPYC Milan
Platforma podnikové třídy, sestavená a otestovaná v EU.
Kentino AI 144 Rome L4 1452TOPS
Tichý edge inference server se 144 GB VRAM
6x NVIDIA L4 pasivní | EPYC Milan | 1 452 TOPS INT8
Šest pasivních datacentrových karet L4. Nejtišší AI server v nabídce Kentino — vhodný i pro nasazení na okraji kanceláře.
4U jednosoketový inference server se šesti pasivními kartami NVIDIA L4 (24 GB každá, pool 144 GB), jedním CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4 ECC, 2 TB NVMe pro systém a jedním 2 kW ATX zdrojem s 62 % rezervou. Tahoun husté edge inference pro embeddingové flotily, multi-tenant provoz malých a středních LLM a nasazení, kde se počítají watty na dotaz, v blízkosti kancelářských prostor.
Hardware
| Komponenta | Detail |
|---|---|
| GPU | 6x NVIDIA L4 24 GB (Ada Lovelace, pasivní, 72 W, single-slot LP, PCIe Gen4 x8) |
| Pool VRAM | 144 GB souhrnně napříč 6 kartami |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linek PCIe 4.0) |
| Základní deska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB) |
| Systém / úložiště | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | 1x 2 kW ATX zdroj |
| Šasi | 4U do racku (uspořádání pro 6 karet) |
| Chlazení | Tower chladič SP3 + řízené proudění vzduchu zepředu dozadu (průmyslové ventilátory) |
| Síť | Integrovaný dvojitý 10 GbE (Intel X550) |
Výkonová bilance
- Odběr GPU: 6 x 72 W = 432 W
- Celek systému při plné zátěži: ~757 W
- Zdroj celkem: 2 000 W — 62 % rezerva
- Tichý provoz, obrovská tepelná rezerva
Topologie linek
L4 je nativně PCIe Gen4 x8 — žádná ztráta propustnosti vůči hostiteli. ROMED8-2T nabízí 7x slot x16; jeden zůstává volný pro doplnění síťové karty. PCIe switch není potřeba. Bez NVLink.
Co na něm rozběhnete
Se 144 GB souhrnně napříč 6 fyzickými kartami je ideálním scénářem souběžný provoz více modelů: 70B dense v Q4, 30B MoE, 14B coder, VLM i embeddingový model naráz — a pořád zbude rezerva na KV cache.
LLM — text / uvažování / programování
Čínská špička
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-30B-A3B Q4-Q6; QwQ-32B Q6; Qwen3-32B dense Q6; Qwen3.5-122B-A10B Q4-Q5 (~75 GB pohodlně); Qwen3-235B-A22B Q3 (~112 GB) na hraně, krátký kontext
- DeepSeek: DeepSeek-R2 32B sparse MoE Q4-Q6 (zvládne jedna karta, 6x souběžné streamy, ~15-20 tok/s na stream); Seed-OSS-36B Q4-Q6 s nativním kontextem 512k
- GLM / Z.ai: GLM-4.5-Air Q4-Q5 (60-70 GB pohodlně); Hunyuan-A13B Q4-Q6 (~48 GB)
- Baidu ERNIE-4.5-47B-A3B Q4; Step-3.5-Flash Q3-Q4 s částečným přetečením do RAM
Západní špička
- Meta Llama: Llama 3.3 70B Q4-Q6 (43-58 GB) se štědrou KV cache (~10-17 tok/s v jednom streamu přes 6x L4 tensor-parallel); Llama 4 Scout 109B/17B MoE Q4 (~63 GB) pohodlně
- Mistral: Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) v bf16 (~50-65 tok/s na kartu L4); Mixtral 8x22B Q4
- OpenAI (otevřené váhy): gpt-oss-120b nativně MXFP4 (~80 GB) s rezervou; gpt-oss-20b MXFP4
- Google Gemma 3: 27B bf16; Phi-4 14B bf16
- NVIDIA Nemotron: Llama-3.1-Nemotron Super 49B Q4-Q6; Pixtral 12B / Pixtral Large Q4 (~72 GB)
Vision-language modely
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B MoE, InternVL3 až do 78B Q4 (~48 GB), InternVL3.5-38B, DeepSeek-VL2, Llama 3.2 11B Vision bf16, Llama 3.2 90B Vision Q4 (~52 GB), Molmo 72B Q4, Gemma 3 12B/27B multimodální, MiniCPM-V 2.6 / MiniCPM-o 2.6, GLM-4.6V-Flash.
Generování obrázků
FLUX.1 [dev] / [schnell] fp8 (~20-35 s/obrázek na jedné L4 v fp8); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0; HunyuanImage-2.1 (~34 GB bf16); HunyuanDiT; Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generování videa
Wan 2.2 T2V-A14B / I2V-A14B MoE (na hraně v bf16 ~54 GB); Wan 2.2 TI2V-5B rychlá cesta; HunyuanVideo 13B Q4-Q8 (~30 GB); HunyuanVideo 1.5 (8.3B); CogVideoX-5B; Open-Sora 2.0 Q8 (~16 GB); Mochi-1 Q4 (~18 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Audio / řeč / TTS
- ASR: Whisper v3 large / turbo (~50x reálný čas); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Hudba / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Provoz více modelů / více nájemců
- 6 souběžných streamů 24GB modelu v Q4 (jeden na kartu): např. 6x agent Qwen3-14B Q4
- Smíšená flotila: Llama 3.3 70B Q4 (tensor-parallel přes 2 karty) + FLUX.1 (1 karta) + Whisper-turbo (1 karta) + Moshi (1 karta) + embedder BGE-M3 (1 karta)
- Embeddingová služba při vysokém QPS — 6x paralelní embedding streamy BGE-M3 / E5 / Nomic / Cohere Embed
- Farma na transkódování videa — 6x paralelní NVENC/NVDEC streamy
Cílové workloady
- Multi-tenant LLM API pro SaaS — obsloužíte 20-40 souběžných uživatelů na modelu 24B/32B a vedle toho zbude na obrázky i ASR
- Backend pro RAG — embedder na straně dotazu + reader 70B Q4 + reranker, odezva pod sekundu, 50 QPS
- Video-AI pipeline — živé transkódování + titulky + moderace na 6 paralelních streamech
- Edge AI zařízení blízko kanceláře — nízká hlučnost, nulová závislost na datacentru
- Lavice pro R&D modelů střední třídy — rychlá iterace fine-tuningů 30-70B, jedna karta na experiment
Naměřený výkon
Publikované reference | datasheet NVIDIA L4 + komunitní benchmarky
| Benchmark | Výsledek |
|---|---|
| INT8 TOPS na kartu (datasheet NVIDIA) | 242 TOPS |
| Souhrnné INT8 TOPS (6 karet) | 1 452 TOPS |
| Llama 3.1 8B Q4 na jedné L4 (komunita) | ~35-45 tok/s v jednom streamu |
| QPS embeddingu BGE-M3 na L4 (komunita) | ~800 QPS při vstupu 512 tokenů |
| Faktor reálného času u Whisper v3 turbo | ~1.5-2x reálný čas na kartu |
Publikované externí reference, neměřeno na hardwaru Kentino. Kentino zveřejní vlastní čísla po první zákaznické sestavě.
Nehodí se na
- Špičkové MoE 200B+ v Q4+ s dlouhým kontextem — správnou volbou je 4x L40 nebo 8x RTX 4090 (pool 192 GB, souvislý TP)
- Tréninkové workloady — L4 postrádá FP8 i propustnost pro efektivní trénink
- Špičkovou propustnost jediné úlohy — výkon na kartu je skromný proti L40 / RTX Pro 6000
Záruka a dodací lhůta
Záruka NVIDIA OEM 3 roky na L4 + záruka Kentino na integraci. Sestavení zahrnuje montáž, konfiguraci BIOSu, instalaci ovladačů, zátěžový burn-in test a funkční ověření. Dodací lhůta závisí na dostupnosti komponent a potvrzuje se při objednávce.
Doporučené doplňky
- Upgrade na 4 TB NVMe pro knihovnu modelů
- Otevřený rack 24U s řízenou PDU
Otázky, které nám kupující kladou před objednávkou serveru nejčastěji.
Jak dlouho to trvá?
Stroje sestavené z komponent, které máme skladem, expedujeme rychle; cokoli, co vyžaduje konkrétní generaci GPU, závisí na dostupnosti. Termín Vám sdělíme ještě před platbou, a pokud se posune, dáme Vám vědět sami, místo abyste na to museli přijít.
Lze konfiguraci změnit ještě před sestavením?
Téměř vždy. GPU, paměť, úložiště i chlazení volíme podle konkrétní objednávky a uvedená konfigurace je spíš výchozím bodem než pevně daným balíkem. Pokud potřebujete více VRAM, rychlejší úložiště nebo jiné řešení chlazení, dejte nám vědět ještě před objednávkou a změnu Vám naceníme.
Mohu si server vyzvednout osobně?
Ano, můžete. Náš sklad je v Praze a osobní odběr vítáme — většina těch, kdo přijedou, využije návštěvu k tomu, aby si stroj prošla s naším technikem a zeptala se na věci, které se e-mailem řeší těžko. U objednávek v rámci České republiky se také snažíme doručovat osobně a provést Vás nastavením přímo na místě.
Mohu mluvit s někým, kdo opravdu rozumí workloadu?
Ano. Máme inženýra, který se věnuje přímo AI systémům, nikoli obecné obchodní oddělení. Pokud se ptáte na velikosti batchů, kvantizaci, propojení nebo na to, kde bude Vaše úzké hrdlo, zeptejte se — takový rozhovor obvykle posune konfiguraci k lepšímu.
Jaký model na této konfiguraci spustím?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Jak testujete server před expedicí?
Testujeme ji na skutečných AI workloadech, ne na syntetických skóre: propustnost inference, chování při dlouhodobé zátěži a teploty v nepřetržitém provozu. Výsledky benchmarků dostanete spolu se strojem, takže si slíbený výkon můžete ověřit hned první den.
Je server po dodání připravený k provozu?
Ano. Každý stroj je sestaven, podroben burn-in testu a změřen na reálných AI workloadech ještě před expedicí a odchází od nás s již nainstalovaným a běžícím LLM. Zapojíte jej, připojíte do své sítě a začnete pracovat — zbývá jediné rozhodnutí: na jakém projektu poběží jako prvním.
Expedujeme z našeho skladu v EU. U těžkých položek může být nutná přeprava nákladní dopravou — napište si o cenovou nabídku dopravy a dodací lhůtu. Dvouletá omezená záruka s přednostním RMA servisem, prodloužená záruka na vyžádání.
Není to přesně to, co potřebujete?
Řekněte nám, jaký workload provozujete, a my Vám tuto platformu navrhneme na míru — GPU, paměť, úložiště i chlazení podle toho, co u Vás skutečně běží.