Kentino AI 96 Rome L40 724TOPS — 2x NVIDIA L40 ECC produkčný inferenčný server
Platforma na podnikovej úrovni, zostavená a otestovaná v EÚ.
Kentino AI 96 Rome L40 724TOPS
Produkčný server 2x L40 ECC
96 GB ECC VRAM | EPYC Milan | 724 TOPS INT8
Vstupný podnikový ECC stroj pre 24/7 — 2x L40 pasívne, 96 GB ECC VRAM pool, alternatíva triedy dátového centra k rade 4090 pre regulované nasadenia.
Dvojgrafický inferenčný server produkčnej triedy postavený na ROMED8-2T / EPYC Milan s dvoma pasívnymi kartami NVIDIA L40. 96 GB ECC GDDR6 pool v rovnakej obálke VRAM ako ťahúň so 4x RTX 4090, ale s plnou certifikáciou pre dátové centrá, ECC pamäťou na každej karte a tepelným návrhom pre nepretržitú 24/7 prevádzku. Správna voľba tam, kde by RTX 4090 vyvolávala otázky okolo záruky, spoľahlivosti alebo compliance — financie, zdravotníctvo, formálna verifikácia a akékoľvek trvalo produkčné nasadenie LLM / VLM.
Hardvér
| Komponent | Detail |
|---|---|
| GPU | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, pasívna, 300 W, dual-slot, PCIe 4.0 x16) |
| VRAM pool | 96 GB ECC (bez NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x liniek PCIe 4.0) |
| Základná doska | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systémová RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Boot / úložisko | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Zdroj | Jeden 2 kW ATX zdroj |
| Šasi | 4U do racku, pasívne Gen4 x16 risery |
| Chladenie | Tower chladič SP3 (Arctic Freezer 4U-M), 3x 120 mm predný prívod + 1x 120 mm zadný odvod |
| Sieť | Integrované dvojité 10 GbE (Intel X550) + IPMI |
Príkonová obálka
- Odber GPU: 2 x 300 W = 600 W
- Celkom systém pri plnej záťaži: ~925 W
- Celkom zdroj: 2 000 W — 53.8 % rezerva
- Pohodlná rezerva na jednom zdroji, tichá prevádzka
Topológia liniek
PCIe Gen4 x16 na oboch GPU (L40 je natívne Gen4 x16). 16 liniek priamo z root complexu CPU — žiadny PCIe switch. L40 nemá NVLink — komunikácia medzi GPU prebieha cez PCIe P2P. 864 GB/s pamäťovej priepustnosti na kartu.
Čo na ňom spustíte
S 96 GB ECC VRAM naprieč 2 pasívnymi kartami L40 zvládne tento server podnikové 24/7 nasadenie LLM, regulované prevádzky, generovanie obrazu a videa aj viacnájomnú inferenciu tam, kde záleží na spoľahlivosti ECC a záruke pre dátové centrá.
LLM — text / uvažovanie / kódovanie
Čínska špička
- Qwen3-32B bf16 na jednom GPU L40 s rezervou pre 32k kontext (~18-22 tok/s pri jednom streame na L40, publikovaná referencia)
- Qwen3.5-27B bf16; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB) 256k kontext
- Qwen3.5-122B-A10B Q4 (~70 GB) — MoE vlajková loď, dlhý kontext
- QwQ-32B bf16; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B riedke MoE bf16 — zvládne jedno GPU, dva paralelné streamy
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB pohodlne)
- Seed-OSS-36B bf16 — 512k natívny kontext; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (medicínske uvažovanie — tu je ECC výhodou)
Západná špička
- Llama 3.3 70B Q6 (~58 GB) s rezervou pre KV; Q4_K_M (~43 GB) veľmi dlhý kontext (~15-18 tok/s pri jednom streame na 2x L40, publikovaná referencia)
- Hermes 3 70B / Tulu 3 70B Q4-Q6; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) s priestorom pre KV
- Gemma 3 27B multimodálne bf16 s kontextom 128k
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8; IBM Granite 4.0 H-Small 32B/9B — podniková compliance
- Reka Flash 3 21B bf16; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Vision-Language modely
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B; InternVL3 až do 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2; ERNIE-4.5-VL-28B-A3B-Thinking; Llama 3.2 11B Vision bf16; Pixtral 12B bf16; Gemma 3 12B / 27B multimodálne; PaliGemma 2 (3/10/28B); MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V-Flash; Molmo 72B Q4; Aya Vision 32B.
Generovanie obrazu
L40 má Ada tensor cores a 864 GB/s pamäťovej priepustnosti na kartu — solídne pre produkčné obrazové pipeline: FLUX.1 [dev] / [schnell] fp16 (~24 GB) alebo fp8 (~12 GB) (~15-25 sekúnd na obrázok 1024x1024 pri fp8, publikovaná referencia); FLUX.1 Kontext [dev]; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0 + ControlNet + AnimateDiff; HunyuanImage-2.1 bf16 (~34 GB); Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generovanie videa
HunyuanVideo 13B bf16 sa zmestí na jednu L40 pre krátky klip v 720p; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) tensor-parallel na 2 karty; Wan 2.2 TI2V-5B bf16 na kartu; Wan 2.1 14B fp8 / bf16; HunyuanVideo 1.5 (8.3B) bf16; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB); LTX-Video 2B; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / reč / TTS
- ASR: Whisper v3 large / turbo (~50x reálneho času na jednom GPU, publikovaná referencia); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi (plne duplexné, latencia 200 ms); Step-Audio 2 mini / R1 / R1.1; Qwen2.5-Omni-7B
- Hudba / SFX / preklad: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2; MMS
Viacmodelové / viacnájomné nasadenie
- 4-8 súbežných používateľov na LLM triedy 32-70B cez vLLM tensor-parallel alebo rozdelenie po kartách
- Zmiešaný stack: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi rezidentne s rozdelenou VRAM
- LoRA inferencia + ľahký fine-tuning 7-14B; pri menších modeloch je možný aj full-param
- RAG pipeline s Command R / Qwen3 + embeddingmi BGE-M3 / E5 / Jina
Cieľové workloady
- Podnikové 24/7 nasadenie LLM — 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Regulované nasadenie vyžadujúce ECC pamäť (financie, zdravotníctvo, formálna verifikácia)
- Nasadenie s dlhým kontextom — Seed-OSS-36B s 512k kontextom sa pohodlne zmestí do 96 GB poolu
- Nasadenie MoE strednej triedy — Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- Spracovanie dokumentov cez VLM — InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Publikované referenčné výkony
Publikovaná referencia | porovnateľný hardvér 2x NVIDIA L40
| Benchmark | Výsledok |
|---|---|
| Llama 3.3 70B Q4_K_M rozdelená tensor-split na 2x L40 | ~15-18 tok/s pri jednom streame |
| Qwen3-32B bf16 na jednom GPU L40 | ~18-22 tok/s pri jednom streame |
| vLLM Hunyuan-A13B Q6 na poole 2x L40 | ~28-34 tok/s pri jednom streame |
| HunyuanVideo 13B bf16 na jednej L40 | krátky klip v 720p — zmestí sa do 48 GB |
| Metriky na kartu | 362 TOPS INT8, 864 GB/s, 300 W TDP |
Publikované, nemerané na hardvéri Kentino.
Nie je ideálny na
- Optimalizáciu ceny za TFLOPS — 4x RTX 4090 dá 2 644 agregovaných TOPS za ~40 % ceny komponentov (bez ECC a záruky pre dátové centrá)
- Špičkové husté modely nad 200B — platí strop 96 GB poolu (treba SKU so 192+ GB)
- Generovanie videa v bf16 v dlhej forme a plnom rozlíšení (Wan 2.2 MoE s dvoma expertmi chce viac VRAM)
- Trénovanie od nuly — L40 je certifikovaná na inferenciu; na trénovanie použite RTX Pro 6000 / workstation Blackwell
Záruka a dodacia lehota
3-ročná OEM záruka NVIDIA pre dátové centrá na L40 + integračná záruka Kentino (2 roky na diely, 1 rok na prácu). Zostava zahŕňa montáž, konfiguráciu BIOS, inštaláciu ovládačov, záťažové testovanie a overenie funkčnosti.
Odporúčané doplnky
- Upgrade na 4x L40 (Kentino AI 192 Rome L40 1448TOPS) pre 192 GB ECC pool a nasadenie špičkovej triedy
- Rozšírenie RAM na 512 GB (pridanie 4x 64 GB DDR4) pre väčšie embedding / reranker stacky
- Rozšírenie NVMe na 4 TB pre knižnicu modelov a prípravu datasetov
- Redundantný zdroj (dva synchronizované 2 kW) dostupný na požiadanie
- Rack PDU + 3 kVA online UPS pre produkčnú kolokáciu
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje postavené z komponentov, ktoré máme na sklade, expedujeme rýchlo; čokoľvek, čo si vyžaduje konkrétnu generáciu GPU, závisí od dostupnosti. Termín Vám oznámime ešte pred platbou, a ak sa posunie, povieme Vám to sami – nenecháme Vás, aby ste na to prišli.
Dá sa konfigurácia pred stavbou ešte zmeniť?
Takmer vždy. GPU, pamäť, úložisko aj chladenie vyberáme podľa konkrétnej objednávky a uvedená konfigurácia je skôr východiskovým bodom než pevným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný spôsob chladenia, povedzte nám to pred objednaním a zmenu Vám naceníme.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad je v Prahe a osobný odber je vítaný — väčšina ľudí, ktorí prídu, využije návštevu na to, aby si stroj prešla s naším technikom a opýtala sa na veci, ktoré sa cez e-mail riešia ťažko. Pri objednávkach v rámci Českej republiky sa snažíme doručovať aj osobne a uvedenie do prevádzky s Vami prejsť priamo na mieste.
Môžem hovoriť s niekým, kto naozaj rozumie workloadu?
Áno. Máme inžiniera, ktorý sa venuje priamo AI systémom, nie všeobecné obchodné oddelenie. Ak sa pýtate na veľkosti batchov, kvantizáciu, prepojenie alebo na to, kde bude Vaše úzke miesto, pýtajte sa — taký rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Aký model môžem na tejto konfigurácii spustiť?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Ako testujete server pred odoslaním?
Testujeme ho na reálnych AI workloadoch, nie na syntetických skóre: priepustnosť inferencie, správanie pri trvalej záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov dostanete spolu so strojom, takže výkon, ktorý sme vám sľúbili, si môžete overiť hneď v prvý deň.
Je server po doručení pripravený na prevádzku?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Expedujeme z nášho skladu v EÚ. Pri ťažkých položkách môže byť potrebná prepravná zásielka — kontaktujte nás pre cenovú ponuku dopravy a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou RMA podporou; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám, aký workload prevádzkujete, a my okolo neho navrhneme túto platformu — GPU, pamäť, úložisko aj chladenie presne na mieru.