Kentino AI 96 Rome L40 724TOPS — 2x NVIDIA L40 ECC inferensserver för produktion
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 96 Rome L40 724TOPS
2x L40 ECC-produktionsserver
96 GB ECC VRAM | EPYC Milan | 724 TOPS INT8
ECC-maskin för 24/7 på enterprise-instegsnivå — 2x passiva L40, 96 GB ECC VRAM-pool, ett alternativ i datacenterklass till 4090-nivån för reglerade driftsättningar.
En inferensserver i produktionsklass med två GPU:er, byggd på ROMED8-2T / EPYC Milan med två passiva NVIDIA L40-kort. 96 GB ECC GDDR6-pool med samma VRAM-ram som arbetshästen med 4x RTX 4090, men med full datacentercertifiering, ECC-minne på varje kort och en termisk design byggd för drift dygnet runt. Rätt val där RTX 4090 skulle väcka frågor om garanti, tillförlitlighet eller regelefterlevnad — finans, sjukvård, formell verifiering och all LLM-/VLM-servering i kontinuerlig produktion.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, passiv, 300 W, dubbelslot, PCIe 4.0 x16) |
| VRAM-pool | 96 GB ECC (ingen NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0-banor) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| System-RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Boot / lagring | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | Ett ATX-nätaggregat på 2 kW |
| Chassi | 4U för rackmontering, passiva Gen4 x16-risers |
| Kylning | SP3-tornkylare (Arctic Freezer 4U-M), 3x 120 mm intag fram + 1x 120 mm utblås bak |
| Nätverk | Inbyggd dubbel 10 GbE (Intel X550) + IPMI |
Effektbudget
- GPU-förbrukning: 2 x 300 W = 600 W
- Systemtotal vid full last: ~925 W
- Nätaggregat totalt: 2 000 W — 53.8 % marginal
- Gott om marginal med ett nätaggregat, tyst drift
Banotopologi
PCIe Gen4 x16 till båda GPU:erna (L40 är nativt Gen4 x16). 16 banor direkt från CPU:ns root complex — ingen PCIe-switch. L40 saknar NVLink — kommunikation mellan GPU:erna sker via PCIe P2P. 864 GB/s minnesbandbredd per kort.
Vad du kan köra
Med 96 GB ECC VRAM fördelat på 2 passiva L40-kort hanterar servern LLM-servering för företag dygnet runt, reglerade driftsättningar, bild- och videogenerering samt multi-tenant-inferens där ECC-tillförlitlighet och datacentergaranti är viktiga.
LLM:er — text / resonemang / kodning
Kinesisk frontlinje
- Qwen3-32B bf16 på en enda L40 med 32k ctx-marginal (~18-22 tok/s single-stream på L40, publicerad referens)
- Qwen3.5-27B bf16; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB) 256k ctx
- Qwen3.5-122B-A10B Q4 (~70 GB) — MoE-flaggskepp, lång ctx
- QwQ-32B bf16; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B gles MoE bf16 — klarar sig på en GPU, två parallella strömmar
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB med god marginal)
- Seed-OSS-36B bf16 — 512k nativ ctx; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (medicinskt resonemang — här är ECC en fördel)
Västerländsk frontlinje
- Llama 3.3 70B Q6 (~58 GB) med KV-marginal; Q4_K_M (~43 GB) mycket lång ctx (~15-18 tok/s single-stream på 2x L40, publicerad referens)
- Hermes 3 70B / Tulu 3 70B Q4-Q6; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) med KV-utrymme
- Gemma 3 27B multimodal bf16 med 128k ctx
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8; IBM Granite 4.0 H-Small 32B/9B — regelefterlevnad för företag
- Reka Flash 3 21B bf16; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Vision-language-modeller
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B; InternVL3 upp till 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2; ERNIE-4.5-VL-28B-A3B-Thinking; Llama 3.2 11B Vision bf16; Pixtral 12B bf16; Gemma 3 12B / 27B multimodal; PaliGemma 2 (3/10/28B); MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V-Flash; Molmo 72B Q4; Aya Vision 32B.
Bildgenerering
L40 har Ada-tensorkärnor och 864 GB/s minnesbandbredd per kort — stabilt för bildpipelines i produktion: FLUX.1 [dev] / [schnell] fp16 (~24 GB) eller fp8 (~12 GB) (~15-25 sekunder per bild i 1024x1024 vid fp8, publicerad referens); FLUX.1 Kontext [dev]; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0 + ControlNet + AnimateDiff; HunyuanImage-2.1 bf16 (~34 GB); Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videogenerering
HunyuanVideo 13B bf16 ryms på en L40 för korta klipp i 720p; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) tensor-parallellt 2-vägs; Wan 2.2 TI2V-5B bf16 per kort; Wan 2.1 14B fp8 / bf16; HunyuanVideo 1.5 (8.3B) bf16; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB); LTX-Video 2B; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ljud / tal / TTS
- ASR: Whisper v3 large / turbo (~50x realtid på en GPU, publicerad referens); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtid / S2S: Kyutai Moshi (200 ms latens, full duplex); Step-Audio 2 mini / R1 / R1.1; Qwen2.5-Omni-7B
- Musik / ljudeffekter / översättning: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2; MMS
Servering av flera modeller / multi-tenant
- 4-8 samtidiga användare på LLM:er i 32-70B-klassen via vLLM tensor-parallellt eller med partitionering per kort
- Blandad stack: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi residenta med partitionerat VRAM
- LoRA-inferens + lätt finjustering av 7-14B; full-param möjlig på mindre modeller
- RAG-pipelines med Command R / Qwen3 + BGE-M3 / E5 / Jina-embeddings
Målarbetsbelastningar
- LLM-servering för företag dygnet runt — 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Reglerad driftsättning som kräver ECC-minne (finans, sjukvård, formell verifiering)
- Servering med lång kontext — Seed-OSS-36B 512k ctx ryms bekvämt i 96 GB-poolen
- MoE-servering i mellanklassen — Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- VLM-dokumentbehandling — InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Publicerade prestandareferenser
Publicerad referens | jämförbar hårdvara med 2x NVIDIA L40
| Benchmark | Resultat |
|---|---|
| Llama 3.3 70B Q4_K_M fördelad över 2x L40 (tensor-split) | ~15-18 tok/s single-stream |
| Qwen3-32B bf16 på en enda L40 | ~18-22 tok/s single-stream |
| vLLM Hunyuan-A13B Q6 på 2x L40-pool | ~28-34 tok/s single-stream |
| HunyuanVideo 13B bf16 på en L40 | Kort klipp i 720p — ryms i 48 GB |
| Mätvärden per kort | 362 TOPS INT8, 864 GB/s, 300 W TDP |
Publicerat, inte uppmätt på Kentino-hårdvara.
Mindre lämplig för
- Optimering av kostnad per TFLOPS — 4x RTX 4090 ger 2 644 TOPS sammanlagt till ~40 % av komponentkostnaden (utan ECC / datacentergaranti)
- Täta frontlinjemodeller på 200B+ — taket på 96 GB-poolen gäller (kräver SKU med 192+ GB)
- Videogenerering i bf16, långa format i full upplösning (Wan 2.2 MoE med två experter kräver mer VRAM)
- Träning från grunden — L40 är certifierad för inferens; använd RTX Pro 6000 / Blackwell för arbetsstationer vid träning
Garanti och leveranstid
NVIDIA OEM 3-års datacentergaranti på L40 + Kentinos integrationsgaranti (2 år på delar, 1 år på arbete). Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering.
Rekommenderade tillval
- Uppgradera till 4x L40 (Kentino AI 192 Rome L40 1448TOPS) för 192 GB ECC-pool och servering på frontlinjenivå
- Uppgradera RAM till 512 GB (lägg till 4x 64 GB DDR4) för större embedding-/reranker-stackar
- Uppgradera NVMe till 4 TB för modellbibliotek + mellanlagring av dataset
- Redundant nätaggregat (dubbla synkade 2 kW) finns som tillval på begäran
- Rack-PDU + 3 kVA online-UPS för colocation i produktion
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.