Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 192 Rome L40 1448TOPS
192 GB ECC-inferensserver för företag
4x NVIDIA L40 passiv | EPYC Milan | 1 448 TOPS INT8
Fyra passiva L40-datacenterkort med ECC-minne. Samma 192 GB-pool som 8x RTX 4090 – men i datacenterklass, ECC-skyddad och med OEM-garanti.
En 4U-rackmonterad inferensserver med fyra passiva NVIDIA L40-kort som tillsammans ger 192 GB ECC VRAM, en AMD EPYC 7643 Milan-CPU (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe-boot och dubbla synkroniserade 2 kW ATX-nätaggregat. L40 är datacentersyskonet till RTX 4090 – passivt kyld, med ECC, NVENC/NVDEC-hårdvaruenkodrar på chippet och NVIDIA OEM-garanti på 3 år. Kör vLLM, SGLang, llama.cpp, Triton och TensorRT-LLM direkt ur lådan.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, passiv, 300 W, dubbelslot, PCIe 4.0 x16) |
| VRAM-pool | 192 GB ECC fördelat på 4 kort (ingen NVLink på L40) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0-banor) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systemminne | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Boot/lagring | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | Dubbla 2 kW ATX-nätaggregat med synkkabel |
| Chassi | 4U-rackmontering med riktat luftflöde fram-till-bak |
| Kylning | Arctic Freezer 4U-M SP3 tower + 3x 120 mm intag fram + 1x 120 mm utblås bak |
| Nätverk | Inbyggt dubbelt 10 GbE (Intel X550) |
Effektbudget
- GPU-förbrukning: 4 x 300 W = 1 200 W
- Systemets totala förbrukning vid full last: ~1 525 W
- Nätaggregat totalt: 4 000 W (dubbla synkade 2 kW) – 61.9 % marginal
- Dubbla nätaggregat för delad strömförsörjning och N+1-kapacitet
Bantopologi
PCIe Gen4 x16 per kort (L40 är Gen4-nativt). Direkt root complex-anslutning från en enda EPYC – ingen PCIe-switch. Ingen NVLink – trafik mellan GPU:er går via PCIe peer-to-peer. Tre x16-platser återstår för NIC-/lagringsexpansion.
Vad du kan köra
Med 192 GB ECC VRAM fördelat på 4 datacenterkort hanterar servern frontier-MoE på 200B+ i Q4, flerkunds-serving för företag med strikta SLA och produktionsinferens dygnet runt utan ECC-relaterad bit-flip-drift.
LLM:er – text/resonemang/kod
Kinesiska frontier-modeller
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) med lång kontext – toppkonfigurationen (~12-18 tok/s single-stream över 4x L40); Qwen3-Coder-480B-A35B Q2 (~160 GB, snävt); Qwen3.5-122B-A10B fp8 (~75 GB) med enorm KV; Qwen3-32B dense bf16 i flera samtidiga strömmar
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB med mindre RAM-spill); DeepSeek-R2 32B – 4x samtidiga strömmar, en per kort
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) – den optimala nivån för denna klass; GLM-4.5-Air 106B/12B fp8 eller bf16
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) – 389B MoE med 256k kontext; Hunyuan-A13B fp8 (~80 GB) med enorm KV
- Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB)
Västerländska frontier-modeller
- Meta Llama: Llama 3.3 70B bf16 med massiv KV (~15-18 tok/s single-stream på 4x L40); Llama 4 Scout bf16 (~218 GB) snävt; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) med god marginal; Mistral Small 3 i flera strömmar
- OpenAI (öppna vikter): gpt-oss-120b MXFP4 (80 GB) med generös KV
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 i flera strömmar
- Google Gemma 3: 27B multimodal bf16 – flera samtidigt laddade strömmar
- Övriga: Cohere Command R+ 104B Q6 (~85 GB); OLMo 3.1 32B; Reka Flash 3 21B; IBM Granite 4.0 H-Small
Vision-språkmodeller
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6-bf16; Molmo 72B bf16; GLM-4.6V 106B fp8; Gemma 3 27B multimodal i flera strömmar; InternVL3 78B bf16; DeepSeek-VL2 hela serien.
Bildgenerering
FLUX.1 [dev] / [schnell] bf16 med samtidig generering (~3-4 s per 1024x1024-bild på L40); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 2-3 samtidigt; HunyuanImage-2.1 bf16 (~34 GB) i flera strömmar; HunyuanImage-3.0 base (80B MoE, 13B aktiva) bf16 (~80 GB); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Videogenerering
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 med dubbla experter och full kontext; Wan 2.2 TI2V-5B snabbspår; HunyuanVideo 13B bf16 med båda experterna; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB) i flera strömmar; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ljud/tal/TTS
- ASR: Whisper v3 large / turbo (~50x realtid); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Realtid/S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Musik/ljudeffekter: MusicGen / AudioGen / Bark; SeamlessM4T v2
Flermodell-/flerkunds-serving
- LLM-gateway för företagsproduktion – Qwen3-235B Q4 eller GLM-4.5/4.6 Q4 som betjänar 16-32 samtidiga användare med strikta SLA
- Blandad laddad stack: 235B MoE + FLUX.1 + Whisper-turbo + Moshi med partitionerat VRAM och ECC-skydd
- Live-video + AI-pipeline – NVENC/NVDEC-hårdvaruenkodrar strömmar 6-8 parallella pipelines för textning och moderering
- RAG för flera kunder – embedder på frågesidan + 70B-läsare + reranker med P99-latens under en sekund
Målarbetsbelastningar
- LLM-inferens i produktion dygnet runt med 192 GB-pool (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Flerkunds-serving för företag med strikta SLA – ECC-tillförlitlighet över långa körningar
- RAG + vektordatabas-serving med högkvalitativa retrieval-modeller samtidigt
- Media-/video-AI-pipelines – NVENC/NVDEC-hårdvaruspår, VFX-rendering, transkribering/översättning
- Tysta datacenterinstallationer – passiva kort, låg ljudprofil nära kontorsytor
Uppmätt prestanda
Publicerade referenser | NVIDIA L40-datablad + communitybenchmarks
| Benchmark | Resultat |
|---|---|
| INT8 TOPS per kort (NVIDIA-datablad) | 362 TOPS |
| Sammanlagda INT8 TOPS (4 kort) | 1 448 TOPS |
| VRAM per kort | 48 GB ECC GDDR6, 864 GB/s bandbredd |
| Llama 3.3 70B Q6 via vLLM (community) | 30-50 tok/s single-stream, 150+ tok/s batch-16 |
| FLUX.1 [dev] bf16 på L40 (community) | ~3-4 s per 1024x1024-bild |
| NVENC / NVDEC | Gen-8-hårdvaruenkodrar på chippet (video-AI-pipeline) |
Publicerade externa referenser, inte uppmätta på Kentino-hårdvara. Kentino publicerar egna siffror efter det första kundbygget.
Mindre lämplig för
- Träning av stora modeller från grunden (ingen NVLink, begränsad FP8-tensorberäkning)
- Budgetinferens för en enda användare (4x L4 eller 2x L40 är betydligt billigare)
- Dense bf16 70B med mycket lång kontext på en modell – välj hellre 2x RTX Pro 6000 Server Edition (samma 192 GB-pool, mindre TP-overhead)
Garanti och leveranstid
NVIDIA OEM-garanti på 3 år för L40 + Kentinos integrationsgaranti. Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering. Leveranstiden beror på komponenttillgång och bekräftas vid beställning.
Rekommenderade tillval
- Uppgradera RAM till 512 GB (lägg till 4x 64 GB DDR4 – fyra DIMM-platser är fortfarande lediga)
- 4 TB NVMe för mellanlagring av modellbibliotek
- Komplett 24U-rackskåp med styrd PDU + online-UPS 5 kVA
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.