Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Platforma na podnikovej úrovni, zostavená a otestovaná v EÚ.
Kentino AI 288 Rome L40 2172TOPS
Enterprise server s 288 GB ECC VRAM
6x NVIDIA L40 Passive | EPYC Milan | 2 172 TOPS INT8
Publikované externé referencie. Nemerané na hardvéri Kentino.
4U rackový enterprise inferenčný server so šiestimi pasívnymi dátovými kartami NVIDIA L40 Ada Lovelace (48 GB ECC každá) zlúčenými do poolu 288 GB ECC VRAM, jedným CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe boot diskom a dvojicou synchronizovaných 2.5 kW ATX zdrojov. ECC end-to-end, postavený na 24/7 podnikovú prevádzku, kde záleží na integrite na úrovni bitov a na servisovateľných doménach zlyhania.
Hardvér
| Komponent | Detail |
|---|---|
| GPU | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, pasívna dátová karta, 300 W, PCIe 4.0 x16, dual-slot, 362 INT8 TOPS/karta) |
| Pool VRAM | 288 GB agregovanej ECC pamäte naprieč 6 kartami (L40 v PCIe SKU nemá NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x linka PCIe 4.0) |
| Základná doska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 sloty DIMM voľné pre rozšírenie na 512 GB) |
| Boot / úložisko | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | 2x 2.5 kW ATX so synchronizačným káblom pre dva zdroje (spolu 5 kW) |
| Šasi | 4U rackové (rozloženie so 6 slotmi) |
| Chladenie | Tower chladič pre SP3 (trieda Arctic Freezer 4U-M) + usmernené prúdenie vzduchu spredu dozadu (priemyselné ventilátory) |
| Sieť | Integrované dvojité 10 GbE (Intel X550) |
Energetická bilancia
- Odber GPU: 6 x 300 W = 1 800 W
- Celkový odber systému pri plnej záťaži: ~2 175 W
- Celkový výkon zdrojov: 5 000 W (dva synchronizované 2.5 kW) — rezerva 56.5%
- Dva zdroje pre rozdelené napájanie — zlyhanie jedného zdroja = výpadok 2 GPU alebo 2 GPU + základnej dosky
Topológia liniek
ROMED8-2T poskytuje 7x PCIe 4.0 x16 priamo z EPYC Milan. Šesť slotov je osadených pasívnymi Gen4 x16 risermi — jeden slot zostáva voľný pre sieťovú kartu či úložisko. Nie je potrebný PCIe switch. Natívna linka L40 je PCIe 4.0 x16 — bez straty priepustnosti. Bez NVLinku; prevádzka medzi GPU beží cez PCIe peer-to-peer.
Čo na ňom môžete prevádzkovať
S 288 GB zlúčenej ECC VRAM naprieč 6 pasívnymi kartami L40 zvládne tento server špičkové open-weight LLM v Q4, súbežné serverovanie viacerých modelov, video a mediálne pipeline aj nepretržitú podnikovú inferenciu. Pozn.: L40 je Ada Lovelace, nie Blackwell — fp8 sa prevádza na bf16. Pre maximálnu efektivitu VRAM používajte GGUF Q4/Q5 alebo AWQ/GPTQ int4.
LLM — text / uvažovanie / kódovanie
Čínska špička
- Qwen3-235B-A22B Q4 (~132 GB) s veľmi dlhým kontextom + veľkorysým KV rozpočtom (~15-20 tok/s pri jednom prúde, publikovaná referencia)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) pohodlne na 6-cestnom TP (~12-18 tok/s pri jednom prúde, publikovaná referencia)
- Hunyuan-Large 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB) vlajkový kódovací agent
- MiniMax-M1 / Text-01 Q3 (~180 GB) Lightning Attention s 1M kontextom
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — na jednej karte so 6 paralelnými prúdmi
- DeepSeek-R2 32B sparse MoE — jedna karta na prúd, 6 súbežných relácií
Západná špička
- Llama 3.3 70B bf16 (~142 GB) pre multi-tenant prevádzku (~17 tok/s pri jednom prúde, publikovaná referencia), alebo Q4 (~43 GB) so 6 súbežnými kópiami
- Llama 4 Scout 109B/17B bf16 (~218 GB tesne) alebo Q4 (~63 GB) pohodlne
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s pri jednom prúde, publikovaná referencia)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB cez GGUF na Ade — pozor na spomenuté prevádzanie na Ade)
- Cohere Command R+ 104B Q4 RAG stack
Vision-Language modely
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodálne; GLM-4.6V v plnej verzii (106B bf16); MiniCPM-o 2.6. NVENC/NVDEC na L40 je obzvlášť užitočný pre vysokopriepustné VLM pipeline na dokumenty a video.
Generovanie obrázkov
FLUX.1 [dev] / Kontext / Tools súbežne na viacerých workeroch (~3.5 s na obrázok 1024x1024 na jednej L40 vo fp8, publikovaná referencia) — možná farma 6x ComfyUI worker; SD 3.5 Large; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Generovanie videa
Wan 2.2 T2V-A14B / I2V-A14B dual-expert bf16 (~54 GB, ~20-30 s na 4s klip v 720p, publikovaná referencia); HunyuanVideo 13B bf16 obaja experti; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. Hardvérový NVENC/NVDEC na L40 zvláda titulkovanie, moderáciu a transkódovanie vo veľkom popri samotnom generovaní.
Zvuk / reč / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Serverovanie viacerých modelov / viacerých nájomcov
- Súbežná rezidencia viacerých modelov — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + embedder, všetko naraz v pamäti
- 6 súbežných workloadov triedy 48 GB (jeden na kartu): 6x Qwen3-VL-32B, alebo 6x FLUX.1 worker, alebo 6x ASR prúd
- 6-cestný tensor-parallel pre MoE nad 200B v Q4 s reálnym kontextom
- RAG pipeline — Command R+ / Qwen3 + reranker + embedder + analýza obrazu na jednom stroji
Cieľové workloady
- Nepretržitý produkčný backend pre LLM inferenciu — 100+ súbežných používateľov na MoE nad 200B v Q4, s ochranou ECC
- Mediálno-AI pipeline v podnikovom rozsahu — titulkovanie + moderácia + náhľady + transkódovanie v 6 paralelných prúdoch cez NVENC/NVDEC
- Multi-tenant SaaS, kde záleží na izolácii nájomcov na úrovni fyzických kariet
- RAG backend s čítačom Command R+ + rerankerom + embedderom + víziou, všetko trvalo v pamäti
- Dvojica orientovaná na spoľahlivosť ako náhrada za 12x L40 Legacy — dva servery Kentino AI 288 = 576 GB spolu s nezávislými doménami zlyhania
Publikované výkonnostné referencie
Externé referencie | Nemerané na hardvéri Kentino
| Benchmark | Výsledok |
|---|---|
| INT8 TOPS na jednu kartu L40 | 362 TOPS |
| Pamäťová priepustnosť L40 | 864 GB/s na kartu |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 TP (jeden prúd) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 TP (dávka 16) | ~150-200 tok/s celkovo |
| llama.cpp — GLM-4.6 Q4 na 6x L40 (jeden prúd) | ~12-18 tok/s |
| FLUX.1 [dev] na jednej L40 vo fp8 | ~3.5 s na obrázok 1024x1024 |
Kentino zverejní vlastné namerané čísla po prvej zákazníckej zostave.
Nevhodné pre
- natívnu fp8 inferenciu v plnej rýchlosti — Ada prevádza na bf16; namiesto toho použite GGUF Q4/Q5 alebo AWQ/GPTQ int4. Pre natívne fp8 pozrite Kentino AI 384 Rome RTXPro6000 (Blackwell)
- Trénovanie veľkých modelov od nuly (bez NVLinku)
- Rozpočtovú inferenciu pre jedného používateľa — 4x L4 alebo 4x 5080 vyjde pri malých workloadoch citeľne lacnejšie
- Špičkové husté modely nad 600B v Q4 a vyššie (vyžadujú pool 576 GB+ — pozrite 6x RTX Pro 6000)
Záruka a dodacia lehota
Zostava zahŕňa montáž, konfiguráciu BIOS-u, inštaláciu ovládačov, záťažový burn-in test, memtest a funkčnú kontrolu. Dodacia lehota závisí od dostupnosti komponentov a potvrdzuje sa pri objednávke.
Odporúčané doplnky
- Rozšírenie RAM na 512 GB DDR4 (doplnenie 2x 64 GB — 2 sloty DIMM sú voľné) pre väčší KV rozpočet
- 4 TB NVMe Gen4 x4 na prípravu knižnice modelov
- Celý 24U rackový rozvádzač s riadenou PDU + online UPS (kritické pre nepretržité ECC workloady)
- Druhá jednotka Kentino AI 288 do páru — nahradí obálku 12x L40 Legacy dvoma nezávislými doménami zlyhania
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje postavené z komponentov, ktoré máme na sklade, expedujeme rýchlo; čokoľvek, čo si vyžaduje konkrétnu generáciu GPU, závisí od dostupnosti. Termín Vám oznámime ešte pred platbou, a ak sa posunie, povieme Vám to sami – nenecháme Vás, aby ste na to prišli.
Dá sa konfigurácia pred stavbou ešte zmeniť?
Takmer vždy. GPU, pamäť, úložisko aj chladenie vyberáme podľa konkrétnej objednávky a uvedená konfigurácia je skôr východiskovým bodom než pevným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný spôsob chladenia, povedzte nám to pred objednaním a zmenu Vám naceníme.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad je v Prahe a osobný odber je vítaný — väčšina ľudí, ktorí prídu, využije návštevu na to, aby si stroj prešla s naším technikom a opýtala sa na veci, ktoré sa cez e-mail riešia ťažko. Pri objednávkach v rámci Českej republiky sa snažíme doručovať aj osobne a uvedenie do prevádzky s Vami prejsť priamo na mieste.
Môžem hovoriť s niekým, kto naozaj rozumie workloadu?
Áno. Máme inžiniera, ktorý sa venuje priamo AI systémom, nie všeobecné obchodné oddelenie. Ak sa pýtate na veľkosti batchov, kvantizáciu, prepojenie alebo na to, kde bude Vaše úzke miesto, pýtajte sa — taký rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Aký model môžem na tejto konfigurácii spustiť?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Ako testujete server pred odoslaním?
Testujeme ho na reálnych AI workloadoch, nie na syntetických skóre: priepustnosť inferencie, správanie pri trvalej záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov dostanete spolu so strojom, takže výkon, ktorý sme vám sľúbili, si môžete overiť hneď v prvý deň.
Je server po doručení pripravený na prevádzku?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Expedujeme z nášho skladu v EÚ. Pri ťažkých položkách môže byť potrebná prepravná zásielka — kontaktujte nás pre cenovú ponuku dopravy a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou RMA podporou; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám, aký workload prevádzkujete, a my okolo neho navrhneme túto platformu — GPU, pamäť, úložisko aj chladenie presne na mieru.