Kentino KI 96 Rome 4090 2644TOPS — 4× RTX 4090 KI-Inferenz-Server
Plattform in Enterprise-Qualität, in der EU montiert und getestet.
Kentino AI 96 Rome 4090 2644TOPS
Inferenz-Server mit 96 GB VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Gemessen auf Kentino-Hardware. Llama 3.3 70B AWQ INT4 über vLLM 0.19.0.
Ein 4U-Rack-Inferenz-Server mit vier GeForce RTX 4090, gebündelt zu 96 GB VRAM, einer AMD EPYC 7542 Rome CPU (32C/64T), 256 GB DDR4 ECC, 2 TB NVMe-Systemlaufwerk und zwei synchronisierten 2-kW-ATX-Netzteilen. Führt vLLM, SGLang, llama.cpp, ComfyUI und jeden gängigen Open-Weight-Inferenz-Stack ohne Zusatzaufwand aus.
Hardware
| Komponente | Details |
|---|---|
| GPUs | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| VRAM-Pool | 96 GB gesamt über 4 Karten |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x PCIe 4.0 Lanes) |
| Mainboard | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Arbeitsspeicher | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Speicher | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Netzteil | Zwei 2-kW-ATX-Netzteile mit Sync-Kabel |
| Gehäuse | 4U-Rackgehäuse, gerichteter Luftstrom von vorne nach hinten |
| Kühlung | SP3-Tower-Kühler, 3x 120-mm-Industrielüfter vorne + 1x hinten |
| Netzwerk | Onboard Dual-10-GbE (Intel X550) |
Leistungsbudget
- GPU-Aufnahme: 4 x 450 W = 1 800 W
- Systemgesamt: ~2 125 W
- Netzteilleistung gesamt: 4 000 W (zwei 2 kW) — 46.9% Reserve
- Getrennte Stromversorgung — Ausfall eines Netzteils = Verlust von 2 GPUs bzw. 2 GPUs + Mainboard
Lane-Topologie
128 PCIe-Gen4-Lanes von der EPYC auf sieben x16-Slots; vier davon mit GPUs im Gen4-x16-Betrieb belegt. Kein PCIe-Switch. Kein NVLink — Peer-to-Peer mit 19-22 GB/s (von Kentino gemessen).
Was Sie darauf betreiben können
Mit 96 GB gebündeltem VRAM über 4 Karten bewältigt dieser Server Open-Weight-LLMs, Vision-Modelle, Bild- und Videogenerierung, Sprach-KI und Multi-Tenant-Serving.
LLMs — Text / Reasoning / Coding
Chinesische Spitzenmodelle
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B mit 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB), 256k Kontext, Dual-Mode-Reasoning
- Weitere: Seed-OSS-36B Q4 mit 512k Kontext; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Westliche Spitzenmodelle
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s mit llama.cpp, ~179 tok/s Batch-32 mit vLLM — von Kentino gemessen); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B Reasoning; Devstral Small 2 24B mit 256k Kontext; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB, knapp)
- Weitere: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Vision-Language-Modelle
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 bis 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Bildgenerierung
FLUX.1 [dev]/[schnell] fp8 (~15-25 s pro 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) nativ in 2K; Kolors 2.0; AuraFlow; OmniGen v1.
Videogenerierung
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Audio / Sprache / TTS
- ASR: Whisper v3 turbo (~50x Echtzeit); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- Echtzeit: Kyutai Moshi (200 ms Vollduplex); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Musik: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Multi-Modell-Serving
- 4-8 gleichzeitige Nutzer auf LLMs mit 32-72B über vLLM / SGLang mit Tensor-Parallelität
- Gemischt: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi bei partitioniertem VRAM
- LoRA-/QLoRA-Finetuning für 32-72B; Full-Parameter-Training für 7-14B
- RAG mit Command R+ oder Qwen3 + BGE-M3/E5/Jina
Ziel-Workloads
- Inferenz-Gateway für Organisationen mit 50-200 Arbeitsplätzen (70B Q4-Q6, 4-8 parallele Sitzungen)
- Batch-Pipeline für Diffusion und Video (SDXL + FLUX.1 + Wan 2.2 über Nacht)
- Labor für LoRA-/QLoRA-Finetuning bei Domänenanpassungen von 7-34B
- RAG-Dokumentenassistent (Qwen3-VL + BGE-M3 + Command R, 32k Kontext)
- Gemischter Einzelserver: Chat + Bild + ASR + Echtzeit-Sprache bei partitioniertem VRAM
Gemessene Leistung
Kentino-Benchmark | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Benchmark | Ergebnis |
|---|---|
| Dauerhafte Rechenleistung (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (einzeln) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (Batch-32) | 179.3 tok/s aggregiert |
| llama.cpp Llama 3.3 70B Q4_K_M (einzeln) | 20.3 tok/s |
| Prompt-Auswertung | 1 568 tok/s |
| GPU-Speicherbandbreite | 920 GB/s pro Karte |
| NVMe Lesen/Schreiben | 4 589 / 4 213 MB/s |
| Spitzentemperatur (GPU+CPU-Burn-in) | 73 C, 0.6% Leistungsabfall |
vLLM nutzte den awq-Kernel — mit awq_marlin sind 2-3x möglich.
Weniger geeignet für
- Dichte Spitzenmodelle ab 100B in bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — benötigen 256+ GB VRAM)
- Training von Grund auf (Consumer-Karten RTX 4090 ohne NVLink)
Garantie und Lieferzeit
Der Aufbau umfasst Montage, BIOS-Konfiguration, Treiberinstallation, Burn-in-Tests und Funktionsprüfung. Die Lieferzeit hängt von der Verfügbarkeit der Komponenten ab und wird bei Bestellung bestätigt.
Empfohlenes Zubehör
- Arbeitsspeicher-Upgrade auf 512 GB (4x 64 GB DDR4 ergänzen — vier DIMM-Steckplätze frei)
- 4 TB NVMe als Zweitlaufwerk für die Bereitstellung von Datensätzen und Modellen
- 24U-Open-Frame-Rack für Installationen mit mehreren Servern
Die Fragen, die uns Käufer vor der Bestellung eines Servers am häufigsten stellen.
Wie lange dauert es?
Maschinen aus Komponenten, die wir vorrätig haben, werden schnell versandt; alles, was eine bestimmte GPU-Generation erfordert, hängt von der Verfügbarkeit ab. Wir nennen Ihnen ein Datum, bevor Sie zahlen, und wenn es sich verschiebt, sagen wir es Ihnen, statt Sie es selbst herausfinden zu lassen.
Kann die Konfiguration vor dem Bau noch geändert werden?
Fast immer. GPUs, Arbeitsspeicher, Storage und Kühlung werden je Bestellung ausgewählt, und die angegebene Konfiguration ist ein Ausgangspunkt und kein festes Paket. Wenn Sie mehr VRAM, schnelleren Storage oder ein anderes Kühlkonzept benötigen, sagen Sie es vor der Bestellung – wir kalkulieren die Änderung.
Kann ich den Server persönlich abholen?
Das können Sie. Unser Lager befindet sich in Prag, und die persönliche Abholung ist willkommen – die meisten, die vorbeikommen, nutzen den Besuch, um die Maschine gemeinsam mit unserem Ingenieur durchzugehen und die Fragen zu stellen, die per E-Mail unangenehm sind. Bei Bestellungen innerhalb Tschechiens versuchen wir außerdem, persönlich zu liefern und Sie vor Ort durch die Einrichtung zu führen.
Kann ich mit jemandem sprechen, der den Workload wirklich versteht?
Ja. Bei uns arbeitet ein Ingenieur speziell an KI-Systemen, kein allgemeines Vertriebsteam. Wenn Ihre Frage Batch-Größen, Quantisierung, Interconnect oder die Frage betrifft, wo Ihr Engpass liegen wird, stellen Sie sie — dieses Gespräch verändert die Konfiguration meist zum Besseren.
Welches Modell kann ich auf dieser Konfiguration betreiben?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Wie testen Sie einen Server vor dem Versand?
Wir testen ihn mit echten KI-Workloads statt mit synthetischen Benchmarks: Inferenz-Durchsatz, Verhalten unter Dauerlast und Thermik im Dauerbetrieb. Die Benchmark-Ergebnisse erhalten Sie zusammen mit der Maschine, sodass Sie die zugesagte Leistung vom ersten Tag an selbst überprüfen können.
Ist der Server bei Lieferung betriebsbereit?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Versand aus unserem EU-Lager. Schwere Artikel erfordern unter Umständen eine Speditionslieferung — kontaktieren Sie uns für ein Versandangebot und die Lieferzeit. 2 Jahre eingeschränkte Garantie mit erweitertem RMA-Support; Garantieverlängerung verfügbar.
Nicht ganz das, was Sie brauchen?
Nennen Sie uns Ihren Workload, und wir legen diese Plattform darauf aus – GPUs, Arbeitsspeicher, Storage und Kühlung passend zu Ihrem tatsächlichen Betrieb.