Kentino KI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Plattform in Enterprise-Qualität, in der EU montiert und getestet.
Kentino AI 288 Rome L40 2172TOPS
Enterprise-Server mit 288 GB ECC-VRAM
6x NVIDIA L40 passiv | EPYC Milan | 2 172 TOPS INT8
Veröffentlichte externe Referenzwerte. Nicht auf Kentino-Hardware gemessen.
Ein 4U-Enterprise-Inferenzserver für die Rack-Montage mit sechs passiven NVIDIA L40 Rechenzentrumskarten der Ada-Lovelace-Generation (je 48 GB ECC), zusammengefasst zu 288 GB ECC-VRAM, einer AMD EPYC 7643 Milan CPU (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe-Bootlaufwerk und zwei synchronisierten 2.5 kW ATX-Netzteilen. Durchgängig ECC-geschützt und gezielt für den 24/7-Enterprise-Produktivbetrieb entwickelt, in dem Bit-Integrität und wartbare Fehlerdomänen zählen.
Hardware
| Komponente | Details |
|---|---|
| GPUs | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, passiv, Rechenzentrum, 300 W, PCIe 4.0 x16, Dual-Slot, 362 INT8 TOPS/Karte) |
| VRAM-Pool | 288 GB ECC gesamt über 6 Karten (kein NVLink bei der L40 PCIe-SKU) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 Lanes) |
| Mainboard | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systemspeicher | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 DIMM-Slots frei für ein Upgrade auf 512 GB) |
| Boot / Speicher | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Netzteil | 2x 2.5 kW ATX mit Sync-Kabel für den Dual-Netzteil-Betrieb (5 kW gesamt) |
| Gehäuse | 4U-Rackgehäuse (6-Slot-Layout) |
| Kühlung | SP3-Tower-Kühler (Klasse Arctic Freezer 4U-M) + gerichteter Luftstrom von vorn nach hinten (Industrielüfter) |
| Netzwerk | Onboard Dual 10 GbE (Intel X550) |
Leistungsbudget
- GPU-Aufnahme: 6 x 300 W = 1 800 W
- Systemleistung unter Volllast: ~2 175 W
- Netzteilleistung gesamt: 5 000 W (zwei synchronisierte 2.5 kW) — 56.5% Reserve
- Zwei Netzteile für geteilte Stromversorgung — Ausfall eines Netzteils = Verlust von 2 GPUs oder 2 GPUs + Mainboard
Lane-Topologie
Das ROMED8-2T stellt 7x PCIe 4.0 x16 direkt von der EPYC Milan bereit. Sechs Slots sind mit passiven Gen4-x16-Risern bestückt — ein Slot bleibt frei für NIC / Storage. Kein PCIe-Switch erforderlich. Die native Anbindung der L40 ist PCIe 4.0 x16 — kein Bandbreitenverlust. Kein NVLink; der Datenverkehr zwischen den GPUs läuft per PCIe-Peer-to-Peer.
Was Sie darauf betreiben können
Mit 288 GB gebündeltem ECC-VRAM über 6 passive L40-Karten bewältigt dieser Server Open-Weight-LLMs der Spitzenklasse in Q4, das gleichzeitige Serving mehrerer Modelle, Video- und Medien-Pipelines sowie 24/7-Inferenz im Enterprise-Produktivbetrieb. Hinweis: Die L40 basiert auf Ada Lovelace, nicht auf Blackwell — fp8 wird auf bf16 hochgerechnet. Nutzen Sie GGUF Q4/Q5 oder AWQ/GPTQ int4 für maximale VRAM-Effizienz.
LLMs — Text / Reasoning / Coding
Chinesische Spitzenmodelle
- Qwen3-235B-A22B Q4 (~132 GB) mit sehr langem Kontext + großzügigem KV-Budget (~15-20 tok/s einzeln, veröffentlichte Referenz)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) komfortabel bei 6-facher Tensor-Parallelität (~12-18 tok/s einzeln, veröffentlichte Referenz)
- Hunyuan-Large 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB) Flaggschiff-Coding-Agent
- MiniMax-M1 / Text-01 Q3 (~180 GB) Lightning Attention mit 1M Kontext
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — Einzelkarte mit 6 parallelen Streams
- DeepSeek-R2 32B Sparse MoE — eine Karte pro Stream, 6 gleichzeitige Sessions
Westliche Spitzenmodelle
- Llama 3.3 70B bf16 (~142 GB) Multi-Tenant-Serving (~17 tok/s einzeln, veröffentlichte Referenz) oder Q4 (~43 GB) mit 6 parallelen Instanzen
- Llama 4 Scout 109B/17B bf16 (~218 GB, knapp) oder Q4 (~63 GB), komfortabel
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s einzeln, veröffentlichte Referenz)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB via GGUF auf Ada — Einschränkung durch den Ada-Upcast beachten)
- Cohere Command R+ 104B Q4 RAG-Stack
Vision-Language-Modelle
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodal; GLM-4.6V vollständig (106B bf16); MiniCPM-o 2.6. Der NVENC/NVDEC der L40 ist besonders nützlich für VLM-Dokument- und Video-Pipelines mit hohem Durchsatz.
Bildgenerierung
FLUX.1 [dev] / Kontext / Tools parallel über mehrere Worker (~3.5 s pro 1024x1024-Bild auf einer einzelnen L40 fp8, veröffentlichte Referenz) — eine 6x-ComfyUI-Worker-Farm ist möglich; SD 3.5 Large; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Videogenerierung
Wan 2.2 T2V-A14B / I2V-A14B Dual-Expert bf16 (~54 GB, ~20-30 s pro 4s-Clip in 720p, veröffentlichte Referenz); HunyuanVideo 13B bf16 mit beiden Experten; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. Der Hardware-NVENC/NVDEC der L40 übernimmt Untertitelung / Moderation / Transcoding im großen Maßstab parallel zur Generierung.
Audio / Sprache / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Echtzeit / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Multi-Modell- / Multi-Tenant-Serving
- Mehrere Modelle gleichzeitig resident — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + Embedder, alle im Speicher
- 6 gleichzeitige Workloads der 48-GB-Klasse (eine pro Karte): 6x Qwen3-VL-32B, 6x FLUX.1-Worker oder 6x ASR-Streams
- 6-fache Tensor-Parallelität für 200B+ MoE in Q4 mit echtem Kontext
- RAG-Pipelines — Command R+ / Qwen3 + Reranker + Embedder + Bildanalyse auf demselben Host
Ziel-Workloads
- 24/7-LLM-Inferenz-Backend im Produktivbetrieb — 100+ gleichzeitige Nutzer auf 200B+ MoE in Q4, ECC-geschützt
- Medien-KI-Pipeline im Enterprise-Maßstab — Untertitelung + Moderation + Thumbnail + Transcoding auf 6 parallelen Streams über NVENC/NVDEC
- Multi-Tenant-SaaS, bei dem die Isolation je Mandant über physisch getrennte Karten zählt
- RAG-Backend mit Command R+ Reader + Reranker + Embedder + Vision, vollständig resident
- Zuverlässigkeitsorientiertes Paar als Ersatz für die 12x L40 Legacy — zwei Kentino AI 288 Server = 576 GB gesamt mit unabhängigen Fehlerdomänen
Veröffentlichte Leistungsreferenzen
Externe Referenzen | Nicht auf Kentino-Hardware gemessen
| Benchmark | Ergebnis |
|---|---|
| L40 INT8 TOPS pro Karte | 362 TOPS |
| L40 Speicherbandbreite | 864 GB/s pro Karte |
| vLLM — Llama 3.3 70B AWQ INT4 auf 2x L40 TP (einzeln) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 auf 2x L40 TP (Batch-16) | ~150-200 tok/s gesamt |
| llama.cpp — GLM-4.6 Q4 auf 6x L40 (einzeln) | ~12-18 tok/s |
| FLUX.1 [dev] auf einer einzelnen L40 fp8 | ~3.5 s pro 1024x1024-Bild |
Kentino veröffentlicht eigene Messwerte nach dem ersten Kundenaufbau.
Weniger geeignet für
- fp8-native Inferenz bei voller Geschwindigkeit — Ada rechnet auf bf16 hoch; nutzen Sie stattdessen GGUF Q4/Q5 oder AWQ/GPTQ int4. Für natives fp8 siehe Kentino AI 384 Rome RTXPro6000 (Blackwell)
- das Training großer Modelle von Grund auf (kein NVLink)
- günstige Einzelnutzer-Inferenz — 4x L4 oder 4x 5080 sind bei kleinen Workloads deutlich preiswerter
- dichte Spitzenmodelle ab 600B in Q4+ (benötigen einen Pool ab 576 GB — siehe 6x RTX Pro 6000)
Garantie und Lieferzeit
Der Aufbau umfasst Montage, BIOS-Konfiguration, Treiberinstallation, Burn-in, Memtest und Funktionsprüfung. Die Lieferzeit hängt von der Verfügbarkeit der Komponenten ab und wird bei Bestellung bestätigt.
Empfohlene Ergänzungen
- RAM-Upgrade auf 512 GB DDR4 (2x 64 GB ergänzen — 2 DIMM-Slots frei) für ein größeres KV-Budget
- 4 TB NVMe Gen4 x4 für das Staging der Modellbibliothek
- Komplettes 24U-Rack-Gehäuse mit Managed PDU + Online-USV (entscheidend für 24/7-ECC-Workloads)
- Eine zweite Kentino AI 288 Einheit im Paar — ersetzt das Leistungsbudget der 12x L40 Legacy durch zwei unabhängige Fehlerdomänen
Die Fragen, die uns Käufer vor der Bestellung eines Servers am häufigsten stellen.
Wie lange dauert es?
Maschinen aus Komponenten, die wir vorrätig haben, werden schnell versandt; alles, was eine bestimmte GPU-Generation erfordert, hängt von der Verfügbarkeit ab. Wir nennen Ihnen ein Datum, bevor Sie zahlen, und wenn es sich verschiebt, sagen wir es Ihnen, statt Sie es selbst herausfinden zu lassen.
Kann die Konfiguration vor dem Bau noch geändert werden?
Fast immer. GPUs, Arbeitsspeicher, Storage und Kühlung werden je Bestellung ausgewählt, und die angegebene Konfiguration ist ein Ausgangspunkt und kein festes Paket. Wenn Sie mehr VRAM, schnelleren Storage oder ein anderes Kühlkonzept benötigen, sagen Sie es vor der Bestellung – wir kalkulieren die Änderung.
Kann ich den Server persönlich abholen?
Das können Sie. Unser Lager befindet sich in Prag, und die persönliche Abholung ist willkommen – die meisten, die vorbeikommen, nutzen den Besuch, um die Maschine gemeinsam mit unserem Ingenieur durchzugehen und die Fragen zu stellen, die per E-Mail unangenehm sind. Bei Bestellungen innerhalb Tschechiens versuchen wir außerdem, persönlich zu liefern und Sie vor Ort durch die Einrichtung zu führen.
Kann ich mit jemandem sprechen, der den Workload wirklich versteht?
Ja. Bei uns arbeitet ein Ingenieur speziell an KI-Systemen, kein allgemeines Vertriebsteam. Wenn Ihre Frage Batch-Größen, Quantisierung, Interconnect oder die Frage betrifft, wo Ihr Engpass liegen wird, stellen Sie sie — dieses Gespräch verändert die Konfiguration meist zum Besseren.
Welches Modell kann ich auf dieser Konfiguration betreiben?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Wie testen Sie einen Server vor dem Versand?
Wir testen ihn mit echten KI-Workloads statt mit synthetischen Benchmarks: Inferenz-Durchsatz, Verhalten unter Dauerlast und Thermik im Dauerbetrieb. Die Benchmark-Ergebnisse erhalten Sie zusammen mit der Maschine, sodass Sie die zugesagte Leistung vom ersten Tag an selbst überprüfen können.
Ist der Server bei Lieferung betriebsbereit?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Versand aus unserem EU-Lager. Schwere Artikel erfordern unter Umständen eine Speditionslieferung — kontaktieren Sie uns für ein Versandangebot und die Lieferzeit. 2 Jahre eingeschränkte Garantie mit erweitertem RMA-Support; Garantieverlängerung verfügbar.
Nicht ganz das, was Sie brauchen?
Nennen Sie uns Ihren Workload, und wir legen diese Plattform darauf aus – GPUs, Arbeitsspeicher, Storage und Kühlung passend zu Ihrem tatsächlichen Betrieb.