Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Platforma na podnikovej úrovni, zostavená a otestovaná v EÚ.
Kentino AI 192 Rome L40 1448TOPS
192 GB ECC enterprise inferenčný server
4x NVIDIA L40 pasívne | EPYC Milan | 1 448 TOPS INT8
Štyri pasívne datacentrové karty L40 s ECC pamäťou. Rovnaký 192 GB fond ako 8x RTX 4090 — ale v triede dátového centra, s ochranou ECC a s OEM zárukou.
4U inferenčný server do racku so štyrmi pasívnymi kartami NVIDIA L40 zlúčenými do 192 GB ECC VRAM, jedným CPU AMD EPYC 7643 Milan (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe pre systém a dvojicou synchronizovaných 2 kW ATX zdrojov. L40 je datacentrový súrodenec RTX 4090 — pasívne chladený, s ECC, s hardvérovými enkodérmi NVENC/NVDEC priamo na čipe a s 3-ročnou OEM zárukou NVIDIA. vLLM, SGLang, llama.cpp, Triton aj TensorRT-LLM bežia hneď po zapnutí.
Hardvér
| Komponent | Detail |
|---|---|
| GPU | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, pasívne, 300 W, dvojslotové, PCIe 4.0 x16) |
| Fond VRAM | 192 GB ECC naprieč 4 kartami (L40 nemá NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x liniek PCIe 4.0) |
| Základná doska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Systémový disk / úložisko | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Dvojica 2 kW ATX zdrojov so synchronizačným káblom |
| Skriňa | 4U do racku s usmerneným prúdením vzduchu spredu dozadu |
| Chladenie | Arctic Freezer 4U-M SP3 tower + 3x 120 mm nasávanie vpredu + 1x 120 mm odvod vzadu |
| Sieť | Integrované dvojité 10 GbE (Intel X550) |
Energetická bilancia
- Odber GPU: 4 x 300 W = 1 200 W
- Celý systém pri plnej záťaži: ~1 525 W
- Zdroje spolu: 4 000 W (dva synchronizované 2 kW) — 61.9 % rezerva
- Dva zdroje pre rozdelený prívod napájania a schopnosť N+1
Topológia liniek
PCIe Gen4 x16 na kartu (L40 je natívne Gen4). Priame pripojenie do root complexu jedného EPYC — bez PCIe prepínača. Bez NVLinku — prevádzka medzi GPU ide cez PCIe peer-to-peer. Tri sloty x16 zostávajú voľné na rozšírenie o sieťovú kartu alebo úložisko.
Čo na ňom rozbehnete
So 192 GB ECC VRAM naprieč 4 datacentrovými kartami tento server zvládne hraničné MoE modely nad 200B v Q4, podnikové viacnájomné nasadenie s prísnym SLA a produkčnú inferenciu 24/7 bez driftu spôsobeného preklopením bitov.
LLM — text / uvažovanie / programovanie
Čínska špička
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) s dlhým kontextom — vlajková konfigurácia (~12-18 tok/s v jednom prúde naprieč 4x L40); Qwen3-Coder-480B-A35B Q2 (~160 GB, tesné); Qwen3.5-122B-A10B fp8 (~75 GB) s obrovskou KV cache; Qwen3-32B dense bf16 vo viacerých súbežných prúdoch
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB s miernym presahom do RAM); DeepSeek-R2 32B — 4x súbežné prúdy, jeden na kartu
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — sladký bod tejto triedy; GLM-4.5-Air 106B/12B fp8 alebo bf16
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — 389B MoE s kontextom 256k; Hunyuan-A13B fp8 (~80 GB) s obrovskou KV cache
- Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB)
Západná špička
- Meta Llama: Llama 3.3 70B bf16 s obrovskou KV cache (~15-18 tok/s v jednom prúde na 4x L40); Llama 4 Scout bf16 (~218 GB) tesne; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) s rezervou; Mistral Small 3 vo viacerých prúdoch
- OpenAI (otvorené váhy): gpt-oss-120b MXFP4 (80 GB) so štedrou KV cache
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 vo viacerých prúdoch
- Google Gemma 3: 27B multimodálny bf16 — viac súbežne rezidentných prúdov
- Ďalšie: Cohere Command R+ 104B Q6 (~85 GB); OLMo 3.1 32B; Reka Flash 3 21B; IBM Granite 4.0 H-Small
Vizuálno-jazykové modely
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6-bf16; Molmo 72B bf16; GLM-4.6V 106B fp8; Gemma 3 27B multimodálny vo viacerých prúdoch; InternVL3 78B bf16; DeepSeek-VL2 v celom rozsahu.
Generovanie obrázkov
FLUX.1 [dev] / [schnell] bf16 so súbežným generovaním (~3-4 s na obrázok 1024x1024 na L40); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 2-3 súbežne; HunyuanImage-2.1 bf16 (~34 GB) vo viacerých prúdoch; HunyuanImage-3.0 base (80B MoE, 13B aktívnych) bf16 (~80 GB); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generovanie videa
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 s dvoma expertmi a plným kontextom; Wan 2.2 TI2V-5B rýchla cesta; HunyuanVideo 13B bf16 s oboma expertmi; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB) vo viacerých prúdoch; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Zvuk / reč / TTS
- ASR: Whisper v3 large / turbo (~50x rýchlejšie než reálny čas); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Hudba / zvukové efekty: MusicGen / AudioGen / Bark; SeamlessM4T v2
Viacmodelové a viacnájomné nasadenie
- Podniková produkčná LLM brána — Qwen3-235B Q4 alebo GLM-4.5/4.6 Q4 obsluhujúce 16-32 súbežných používateľov s prísnym SLA
- Zmiešaný rezidentný stack: 235B MoE + FLUX.1 + Whisper-turbo + Moshi s rozdelenou VRAM a ochranou ECC
- Živé video + AI pipeline — hardvérové enkodéry NVENC/NVDEC uvezú 6-8 paralelných liniek na titulkovanie a moderovanie
- Viacnájomný RAG — embedder na strane dopytu + 70B čítač + reranker s P99 latenciou pod jednu sekundu
Cieľové workloady
- Produkčná LLM inferencia 24/7 na 192 GB fonde (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Podnikové viacnájomné nasadenie s prísnym SLA — spoľahlivosť ECC pri dlhom behu
- RAG a vektorová databáza so súbežným behom kvalitných vyhľadávacích modelov
- Mediálne a video AI pipeline — hardvérová cesta NVENC / NVDEC, rendering VFX, prepis a preklad
- Nasadenia s tichou prevádzkou v dátovom centre — pasívne karty, nízka hlučnosť v blízkosti kancelárií
Namerané výkony
Publikované referencie | katalógový list NVIDIA L40 + komunitné benchmarky
| Benchmark | Výsledok |
|---|---|
| INT8 TOPS na kartu (katalógový list NVIDIA) | 362 TOPS |
| Súhrnné INT8 TOPS (4 karty) | 1 448 TOPS |
| VRAM na kartu | 48 GB ECC GDDR6, priepustnosť 864 GB/s |
| Llama 3.3 70B Q6 cez vLLM (komunita) | 30-50 tok/s v jednom prúde, 150+ tok/s pri batch-16 |
| FLUX.1 [dev] bf16 na L40 (komunita) | ~3-4 s na obrázok 1024x1024 |
| NVENC / NVDEC | Hardvérové enkodéry 8. generácie priamo na čipe (video AI pipeline) |
Publikované externé referencie, nemerané na hardvéri Kentino. Kentino zverejní vlastné namerané čísla po prvej zákazníckej zostave.
Nie je ideálny na
- Tréning veľkých modelov od nuly (bez NVLinku, obmedzený FP8 tenzorový výkon)
- Rozpočtovú inferenciu pre jedného používateľa (4x L4 alebo 2x L40 vyjde výrazne lacnejšie)
- Dense bf16 70B pri veľmi dlhom kontexte na jednom modeli — vhodnejšie sú 2x RTX Pro 6000 Server Edition (rovnaký 192 GB fond, menšia réžia tenzorového paralelizmu)
Záruka a dodacia lehota
3-ročná OEM záruka NVIDIA na L40 + integračná záruka Kentino. Zostava zahŕňa montáž, konfiguráciu BIOSu, inštaláciu ovládačov, záťažové testovanie a funkčnú kontrolu. Dodacia lehota závisí od dostupnosti komponentov a potvrdzuje sa pri objednávke.
Odporúčané doplnky
- Rozšírenie RAM na 512 GB (pridať 4x 64 GB DDR4 — štyri sloty DIMM zostávajú voľné)
- 4 TB NVMe na prípravu knižnice modelov
- Kompletný 24U rackový rozvádzač s riadenou PDU + online UPS 5 kVA
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje postavené z komponentov, ktoré máme na sklade, expedujeme rýchlo; čokoľvek, čo si vyžaduje konkrétnu generáciu GPU, závisí od dostupnosti. Termín Vám oznámime ešte pred platbou, a ak sa posunie, povieme Vám to sami – nenecháme Vás, aby ste na to prišli.
Dá sa konfigurácia pred stavbou ešte zmeniť?
Takmer vždy. GPU, pamäť, úložisko aj chladenie vyberáme podľa konkrétnej objednávky a uvedená konfigurácia je skôr východiskovým bodom než pevným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný spôsob chladenia, povedzte nám to pred objednaním a zmenu Vám naceníme.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad je v Prahe a osobný odber je vítaný — väčšina ľudí, ktorí prídu, využije návštevu na to, aby si stroj prešla s naším technikom a opýtala sa na veci, ktoré sa cez e-mail riešia ťažko. Pri objednávkach v rámci Českej republiky sa snažíme doručovať aj osobne a uvedenie do prevádzky s Vami prejsť priamo na mieste.
Môžem hovoriť s niekým, kto naozaj rozumie workloadu?
Áno. Máme inžiniera, ktorý sa venuje priamo AI systémom, nie všeobecné obchodné oddelenie. Ak sa pýtate na veľkosti batchov, kvantizáciu, prepojenie alebo na to, kde bude Vaše úzke miesto, pýtajte sa — taký rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Aký model môžem na tejto konfigurácii spustiť?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Ako testujete server pred odoslaním?
Testujeme ho na reálnych AI workloadoch, nie na syntetických skóre: priepustnosť inferencie, správanie pri trvalej záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov dostanete spolu so strojom, takže výkon, ktorý sme vám sľúbili, si môžete overiť hneď v prvý deň.
Je server po doručení pripravený na prevádzku?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Expedujeme z nášho skladu v EÚ. Pri ťažkých položkách môže byť potrebná prepravná zásielka — kontaktujte nás pre cenovú ponuku dopravy a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou RMA podporou; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám, aký workload prevádzkujete, a my okolo neho navrhneme túto platformu — GPU, pamäť, úložisko aj chladenie presne na mieru.