Kentino KI 96 Rome L40 724TOPS — 2x NVIDIA L40 ECC Production Inference-Server
Plattform in Enterprise-Qualität, in der EU montiert und getestet.
Kentino AI 96 Rome L40 724TOPS
2x L40 ECC Produktionsserver
96 GB ECC VRAM | EPYC Milan | 724 TOPS INT8
Enterprise-Einstiegssystem mit ECC für den 24/7-Betrieb — 2x L40 passiv, 96 GB ECC-VRAM-Pool, Datacenter-taugliche Alternative zur 4090-Klasse für regulierte Umgebungen.
Ein Inferenzserver der Produktionsklasse mit zwei GPUs, aufgebaut auf ROMED8-2T / EPYC Milan mit zwei passiven NVIDIA L40 Karten. 96 GB ECC-GDDR6-Pool mit demselben VRAM-Volumen wie das Arbeitstier mit 4x RTX 4090, jedoch mit vollständiger Datacenter-Zertifizierung, ECC-Speicher auf jeder Karte und einer thermischen Auslegung für den 24/7-Dauerbetrieb. Die richtige Wahl überall dort, wo eine RTX 4090 Fragen zu Garantie, Zuverlässigkeit oder Compliance aufwerfen würde — Finanzwesen, Gesundheitswesen, formale Verifikation und jede Art von LLM-/VLM-Bereitstellung im Dauerbetrieb.
Hardware
| Komponente | Detail |
|---|---|
| GPUs | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, passiv, 300 W, Dual-Slot, PCIe 4.0 x16) |
| VRAM-Pool | 96 GB ECC (kein NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe-4.0-Lanes) |
| Mainboard | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| System-RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Boot / Speicher | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Netzteil | Einzelnes 2-kW-ATX-Netzteil |
| Gehäuse | 4U-Rackeinbau, passive Gen4-x16-Riser |
| Kühlung | SP3-Tower-Kühler (Arctic Freezer 4U-M), 3x 120 mm Zuluft vorne + 1x 120 mm Abluft hinten |
| Netzwerk | Onboard Dual-10-GbE (Intel X550) + IPMI |
Leistungsbudget
- GPU-Aufnahme: 2 x 300 W = 600 W
- Systemgesamtaufnahme unter Volllast: ~925 W
- Netzteilleistung: 2 000 W — 53.8 % Reserve
- Komfortable Reserve mit einem einzigen Netzteil, leiser Betrieb
Lane-Topologie
PCIe Gen4 x16 an beiden GPUs (die L40 ist nativ Gen4 x16). 16 Lanes direkt aus dem CPU-Root-Complex — kein PCIe-Switch. NVLink ist auf der L40 nicht vorhanden — die Kommunikation zwischen den GPUs läuft über PCIe P2P. 864 GB/s Speicherbandbreite pro Karte.
Was Sie darauf betreiben können
Mit 96 GB ECC-VRAM auf 2 passiven L40 Karten bewältigt dieser Server das LLM-Serving im 24/7-Enterprise-Betrieb, regulierte Umgebungen, Bild- und Videogenerierung sowie mandantenfähige Inferenz, bei der ECC-Zuverlässigkeit und Datacenter-Garantie zählen.
LLMs — Text / Reasoning / Coding
Chinesische Spitzenmodelle
- Qwen3-32B bf16 auf einer einzelnen L40 mit Reserve für 32k Kontext (~18-22 Tok/s im Single-Stream auf der L40, veröffentlichter Referenzwert)
- Qwen3.5-27B bf16; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB), 256k Kontext
- Qwen3.5-122B-A10B Q4 (~70 GB) — MoE-Flaggschiff, langer Kontext
- QwQ-32B bf16; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B Sparse-MoE bf16 — auf einer einzelnen GPU lauffähig, zwei parallele Streams
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB, komfortabel)
- Seed-OSS-36B bf16 — 512k nativer Kontext; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (medizinisches Reasoning — hier zahlt sich ECC aus)
Westliche Spitzenmodelle
- Llama 3.3 70B Q6 (~58 GB) mit KV-Reserve; Q4_K_M (~43 GB) für sehr langen Kontext (~15-18 Tok/s im Single-Stream auf 2x L40, veröffentlichter Referenzwert)
- Hermes 3 70B / Tulu 3 70B Q4-Q6; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) mit KV-Reserve
- Gemma 3 27B multimodal bf16 mit 128k Kontext
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8; IBM Granite 4.0 H-Small 32B/9B — Enterprise-Compliance
- Reka Flash 3 21B bf16; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Vision-Language-Modelle
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B; InternVL3 bis zu 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2; ERNIE-4.5-VL-28B-A3B-Thinking; Llama 3.2 11B Vision bf16; Pixtral 12B bf16; Gemma 3 12B / 27B multimodal; PaliGemma 2 (3/10/28B); MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V-Flash; Molmo 72B Q4; Aya Vision 32B.
Bildgenerierung
Die L40 verfügt über Ada-Tensor-Cores und 864 GB/s Speicherbandbreite pro Karte — solide für Bild-Pipelines im Produktivbetrieb: FLUX.1 [dev] / [schnell] fp16 (~24 GB) or fp8 (~12 GB) (~15-25 Sekunden pro Bild mit 1024x1024 bei fp8, veröffentlichter Referenzwert); FLUX.1 Kontext [dev]; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0 + ControlNet + AnimateDiff; HunyuanImage-2.1 bf16 (~34 GB); Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videogenerierung
HunyuanVideo 13B bf16 passt für kurze 720p-Clips auf eine einzelne L40; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) tensorparallel über 2 Karten; Wan 2.2 TI2V-5B bf16 pro Karte; Wan 2.1 14B fp8 / bf16; HunyuanVideo 1.5 (8.3B) bf16; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB); LTX-Video 2B; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / Speech / TTS
- ASR: Whisper v3 large / turbo (~50x Echtzeit auf einer einzelnen GPU, veröffentlichter Referenzwert); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtime / S2S: Kyutai Moshi (200 ms Latenz, Vollduplex); Step-Audio 2 mini / R1 / R1.1; Qwen2.5-Omni-7B
- Musik / SFX / Übersetzung: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2; MMS
Multi-Modell- / mandantenfähiges Serving
- 4-8 gleichzeitige Nutzer auf LLMs der 32-70B-Klasse über vLLM tensorparallel oder per Partitionierung je Karte
- Gemischter Stack: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi gleichzeitig resident bei partitioniertem VRAM
- LoRA-Inferenz + leichtes Fine-Tuning von 7-14B; vollständiges Parameter-Training bei kleineren Modellen möglich
- RAG-Pipelines mit Command R / Qwen3 + BGE-M3- / E5- / Jina-Embeddings
Zielanwendungen
- LLM-Serving im 24/7-Enterprise-Betrieb — 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Regulierte Umgebungen mit ECC-Speicherpflicht (Finanzwesen, Gesundheitswesen, formale Verifikation)
- Serving mit langem Kontext — Seed-OSS-36B mit 512k Kontext passt bequem in den 96-GB-Pool
- MoE-Serving der Mittelklasse — Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- VLM-Dokumentenverarbeitung — InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Veröffentlichte Leistungsreferenzen
Veröffentlichter Referenzwert | vergleichbare Hardware mit 2x NVIDIA L40
| Benchmark | Ergebnis |
|---|---|
| Llama 3.3 70B Q4_K_M tensoraufgeteilt über 2x L40 | ~15-18 Tok/s im Single-Stream |
| Qwen3-32B bf16 auf einer einzelnen L40 | ~18-22 Tok/s im Single-Stream |
| vLLM Hunyuan-A13B Q6 im Pool aus 2x L40 | ~28-34 Tok/s im Single-Stream |
| HunyuanVideo 13B bf16 auf einer einzelnen L40 | Kurzer 720p-Clip — passt in 48 GB |
| Kennwerte pro Karte | 362 TOPS INT8, 864 GB/s, 300 W TDP |
Veröffentlichte Werte, nicht auf Kentino Hardware gemessen.
Weniger geeignet für
- Optimierung der Kosten pro TFLOPS — 4x RTX 4090 liefern zusammen 2 644 TOPS zu ~40 % der Bauteilkosten (ohne ECC / Datacenter-Garantie)
- Dichte Spitzenmodelle ab 200B — hier greift die Obergrenze des 96-GB-Pools (erforderlich ist eine SKU mit 192+ GB)
- Videogenerierung in bf16 mit voller Auflösung und langer Laufzeit (Wan 2.2 MoE mit zwei Experten verlangt mehr VRAM)
- Training von Grund auf — die L40 ist für Inferenz zertifiziert; für das Training empfehlen wir RTX Pro 6000 / Blackwell für die Workstation
Garantie und Lieferzeit
NVIDIA OEM 3-Jahres-Datacenter-Garantie auf die L40 zuzüglich Kentino Integrationsgarantie (2 Jahre auf Teile, 1 Jahr auf Arbeitsleistung). Im Aufbau enthalten sind Montage, BIOS-Konfiguration, Treiberinstallation, Burn-in-Test und Funktionsprüfung.
Empfohlenes Zubehör
- Aufrüstung auf 4x L40 (Kentino AI 192 Rome L40 1448TOPS) für einen 192-GB-ECC-Pool und Serving auf Spitzenniveau
- RAM-Aufrüstung auf 512 GB (4x 64 GB DDR4 ergänzen) für größere Embedding-/Reranker-Stacks
- NVMe-Aufrüstung auf 4 TB für Modellbibliothek und Datensatz-Staging
- Redundantes Netzteil (zwei synchronisierte 2-kW-Einheiten) auf Anfrage erhältlich
- Rack-PDU + 3-kVA-Online-USV für den produktiven Colocation-Betrieb
Die Fragen, die uns Käufer vor der Bestellung eines Servers am häufigsten stellen.
Wie lange dauert es?
Maschinen aus Komponenten, die wir vorrätig haben, werden schnell versandt; alles, was eine bestimmte GPU-Generation erfordert, hängt von der Verfügbarkeit ab. Wir nennen Ihnen ein Datum, bevor Sie zahlen, und wenn es sich verschiebt, sagen wir es Ihnen, statt Sie es selbst herausfinden zu lassen.
Kann die Konfiguration vor dem Bau noch geändert werden?
Fast immer. GPUs, Arbeitsspeicher, Storage und Kühlung werden je Bestellung ausgewählt, und die angegebene Konfiguration ist ein Ausgangspunkt und kein festes Paket. Wenn Sie mehr VRAM, schnelleren Storage oder ein anderes Kühlkonzept benötigen, sagen Sie es vor der Bestellung – wir kalkulieren die Änderung.
Kann ich den Server persönlich abholen?
Das können Sie. Unser Lager befindet sich in Prag, und die persönliche Abholung ist willkommen – die meisten, die vorbeikommen, nutzen den Besuch, um die Maschine gemeinsam mit unserem Ingenieur durchzugehen und die Fragen zu stellen, die per E-Mail unangenehm sind. Bei Bestellungen innerhalb Tschechiens versuchen wir außerdem, persönlich zu liefern und Sie vor Ort durch die Einrichtung zu führen.
Kann ich mit jemandem sprechen, der den Workload wirklich versteht?
Ja. Bei uns arbeitet ein Ingenieur speziell an KI-Systemen, kein allgemeines Vertriebsteam. Wenn Ihre Frage Batch-Größen, Quantisierung, Interconnect oder die Frage betrifft, wo Ihr Engpass liegen wird, stellen Sie sie — dieses Gespräch verändert die Konfiguration meist zum Besseren.
Welches Modell kann ich auf dieser Konfiguration betreiben?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Wie testen Sie einen Server vor dem Versand?
Wir testen ihn mit echten KI-Workloads statt mit synthetischen Benchmarks: Inferenz-Durchsatz, Verhalten unter Dauerlast und Thermik im Dauerbetrieb. Die Benchmark-Ergebnisse erhalten Sie zusammen mit der Maschine, sodass Sie die zugesagte Leistung vom ersten Tag an selbst überprüfen können.
Ist der Server bei Lieferung betriebsbereit?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Versand aus unserem EU-Lager. Schwere Artikel erfordern unter Umständen eine Speditionslieferung — kontaktieren Sie uns für ein Versandangebot und die Lieferzeit. 2 Jahre eingeschränkte Garantie mit erweitertem RMA-Support; Garantieverlängerung verfügbar.
Nicht ganz das, was Sie brauchen?
Nennen Sie uns Ihren Workload, und wir legen diese Plattform darauf aus – GPUs, Arbeitsspeicher, Storage und Kühlung passend zu Ihrem tatsächlichen Betrieb.