Kentino KI 64 Rome 5090 3352TOPS — 2x RTX 5090 Einstiegs Blackwell KI-Server
Plattform in Enterprise-Qualität, in der EU montiert und getestet.
Kentino AI 64 Rome 5090 3352TOPS
Blackwell-Einstiegsserver mit 2 GPUs
2x RTX 5090 | EPYC Milan | 3 352 TOPS INT8
Blackwell-Einstiegsserver mit 2 GPUs — 64 GB gepoolter VRAM, 3 352 TOPS INT8, natives fp8. Der Schritt von Ada zu Blackwell, ausgehend von 2x4090.
Ein KI-Server mit zwei Blackwell-GPUs auf Basis von ROMED8-2T / EPYC Milan. Zwei RTX 5090 liefern einen gepoolten VRAM-Bereich von 64 GB mit nativer fp8-Tensor-Arithmetik — rund die doppelte Rohleistung in TOPS gegenüber 2x RTX 4090 im selben Gehäuseformat und die erste 2-GPU-Klasse, die Llama 3.3 70B Q4, Qwen3.5-122B-A10B Q4 und HunyuanVideo in bf16 / fp8 komfortabel mit Reserve ausführt.
Hardware
| Komponente | Details |
|---|---|
| GPUs | 2x NVIDIA GeForce RTX 5090 32 GB GDDR7 (575 W, PCIe 5.0 x16, Blackwell) |
| VRAM-Pool | 64 GB |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 Lanes) |
| Mainboard | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systemspeicher | 128 GB DDR4-2666 ECC RDIMM (2x 64 GB) |
| Boot / Speicher | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Netzteil | Einzelnes 2-kW-ATX-Netzteil |
| Gehäuse | 4U-Rack-Einbau, passive Gen4-x16-Riser |
| Kühlung | SP3-Tower-Kühler, 3x 120 mm Zuluft vorne + 1x 120 mm Abluft hinten (Industrielüfter) |
| Netzwerk | Onboard Dual 10 GbE (Intel X550) + IPMI |
Leistungsbudget
- GPU-Aufnahme: 2 x 575 W = 1 150 W
- Systemgesamtleistung unter Volllast: ~1 475 W
- Netzteilleistung gesamt: 2 000 W (einzelnes 2-kW-ATX) — 26.25 % Reserve
- Praxistaugliche Reserve mit einem Netzteil; das Upgrade auf zwei Netzteile schafft zusätzlichen Spielraum
Lane-Topologie
Das ROMED8-2T führt 2x16 Gen4 direkt aus dem CPU-Root-Complex heraus. Die 5090 ist Gen5-Silizium und läuft mit Gen4 x16 ohne Bandbreitenverlust für Inferenz. Kein PCIe-Switch. Kein NVLink auf der GeForce 5090 — die 2-fache Tensor-Parallelität nutzt P2P über PCIe.
Was Sie damit betreiben können
Mit 64 GB gepooltem GDDR7-VRAM über zwei Blackwell-Karten bewältigt dieser Server 70B Q4 im Tensor-Parallel-Betrieb, MoE-Flaggschiffe, Bildgenerierung mit nativem fp8, Video-KI sowie das gleichzeitige Serving mehrerer Modelle.
LLMs — Text / Reasoning / Coding
Chinesische Spitzenmodelle
- Qwen3-32B Q8 / bf16 (nahezu fp16-Qualität) (~40-55 Tok/s im Einzelstrom auf Blackwell mit fp8, veröffentlichter Referenzwert)
- QwQ-32B bf16; Qwen3-30B-A3B / Coder-30B-A3B bf16 (~60 GB, passt)
- Qwen3.5-122B-A10B Q4 (~70-75 GB mit Auslagerung in den RAM) — MoE-Flaggschiff passt bei Q4
- Hunyuan-A13B fp8 (~80 GB, knapp) oder Q6 (~36 GB, komfortabel)
- Seed-OSS-36B bf16 (~72 GB, knapp — fp8 mit ~36 GB empfohlen)
- DeepSeek-R2 32B Sparse MoE bf16
- GLM-4.5-Air 106B/12B Q4_K_M (~60 GB) — MoE mit Reserve
- ERNIE-4.5-47B-A3B Q6-Q8
Westliche Spitzenmodelle
- Llama 3.3 70B Q4_K_M (~43 GB) — der Paradeanwendungsfall dieser Klasse (~20-28 Tok/s im Einzelstrom auf 2x 5090, veröffentlichter Referenzwert)
- Hermes 3 70B / Tulu 3 70B Q4 — Llama-Derivate mit offenem Post-Training
- Mistral Small 3 / Magistral / Devstral Small 2 24B bf16; Mixtral 8x7B bf16
- Gemma 3 27B multimodal bf16 + Reserve für Reasoning
- Phi-4 14B bf16; Nemotron-Super 49B Q6-Q8
- gpt-oss-20b MXFP4 (16 GB) + gpt-oss-120b MXFP4 (80 GB — passt knapp bei kurzem Kontext)
- OLMo 2 32B / OLMo 3.1-32B-Think bf16
Vision-Language
Qwen3-VL-32B / Qwen3-VL-30B-A3B / Qwen3-Omni-30B-A3B bf16; InternVL3.5-38B bf16; Llama 3.2 90B Vision Q4 (~52 GB); Pixtral 12B bf16; Pixtral Large 124B Q3 (~58 GB, knapp); Gemma 3 27B multimodal bf16; PaliGemma 2 28B bf16; Molmo 72B Q4 (~45 GB).
Bildgenerierung
Das native fp8 der 5090 sorgt für den Geschwindigkeitsvorsprung — FLUX.1 / SD 3.5 / HunyuanImage laufen spürbar schneller als auf Ada: FLUX.1 [dev] / [schnell] nativ in fp8 (~12 GB) mit 2-facher Parallelität über beide Karten (~8-12 Sekunden pro Bild mit 1024x1024 auf Blackwell, veröffentlichter Referenzwert); FLUX.1 Kontext [dev]; SD 3.5 Large (18 GB fp16 oder 11 GB fp8); SDXL 1.0; HunyuanImage-2.1 bf16 (~34 GB); HunyuanImage-3.0 NF4; AuraFlow v0.3 / OmniGen v1 / Kolors 2.0.
Videogenerierung
Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB gesamt) — MoE mit zwei Experten in voller Präzision; Wan 2.2 TI2V-5B bf16 pro Karte, 2 parallele Mandanten; HunyuanVideo 13B Q4-Q5 (~30 GB), fp8 knapp; HunyuanVideo 1.5 (8.3B) bf16 pro Karte; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB, passt); LTX-Video 2B; NVIDIA Cosmos Predict 2.
Audio / Sprache / TTS
Derselbe komplette chinesische und westliche Sprach-Stack wie in der 4090-Klasse, hier mit mehr Reserve: Whisper v3 + Parakeet + Canary + Moshi + Step-Audio 2 / R1 + CosyVoice 3.0 + Kokoro + Stable Audio Open + MusicGen + AudioGen + SeamlessM4T v2 + MMS. Auf der fp8-nativen 5090 erreichen Whisper und Parakeet beim Decode einen deutlich höheren Echtzeitfaktor. Whisper v3 turbo läuft auf Blackwell mit ~75x Echtzeit (veröffentlichter Referenzwert).
Multi-Modell / Multi-Mandant
- Dauerhaft geladener Stack: Llama 3.3 70B Q4 (~43 GB, 2-fach tensor-parallel) + FLUX.1 fp8 (~12 GB) + Whisper-turbo + Moshi
- 2-4 gleichzeitige Mandanten mit Modellen der 32B-Klasse bei Q6-Q8 pro Karte
- LoRA- / QLoRA-Feintuning von 7-14B komfortabel, 24-32B knapp
Zielanwendungen
- Entwickler-Workstation für kleine Teams mit Reserven für das Serving von 70B Q4
- Blackwell-Upgrade ausgehend von einem System mit 2x RTX 4090 — gleiches Gehäuse, ~2.5x TOPS, natives fp8
- Workstation für Bild- und Videogenerierung mit dem nativen fp8-Schub von FLUX
- System für den gleichzeitigen Betrieb mehrerer Modelle: 70B Q4 + FLUX + Whisper + Moshi gleichzeitig geladen
- Inferenz-Endpunkt für 4-8 gleichzeitige Nutzer mit LLMs der 32B-Klasse
Veröffentlichte Leistungsreferenzen
Veröffentlichte Referenz | vergleichbare Hardware mit 2x RTX 5090
| Benchmark | Ergebnis |
|---|---|
| Llama 3.3 70B Q4_K_M llama.cpp Decode | ~20-28 Tok/s im Einzelstrom |
| Qwen3-32B Q8 vLLM im Einzelstrom | ~45-60 Tok/s Decode bei fp8 |
| FLUX.1 [dev] fp8 nativ auf Blackwell | ~1.5-1.9 s pro 1024x1024 bei 20 Schritten |
| HunyuanVideo 13B Q5 TP-2 | 5 s in 720p in ~5-7 Min. |
Veröffentlichte Werte, nicht auf Kentino-Hardware gemessen. Von Kentino gemessene Referenz auf 4x RTX 4090: 647 TFLOPS fp16, 179 Tok/s im Batch-32-Gesamtdurchsatz.
Weniger geeignet für
- Dichte Modelle ab 100B in bf16 (DeepSeek-V3, Kimi K2, Mistral Large 3 — benötigen einen Pool von 256+ GB)
- Videogenerierung auf Spitzenniveau in bf16 bei voller Auflösung und langer Laufzeit
Garantie und Lieferzeit
Im Aufbau enthalten sind Montage, BIOS-Konfiguration, Treiberinstallation, Burn-in-Tests und Funktionsprüfung. Die Lieferzeit hängt von der Verfügbarkeit der Komponenten ab und wird bei Bestellung bestätigt.
Empfohlenes Zubehör
- NVIDIA ConnectX-5 100 GbE MCX555A-ECAT
- Upgrade der Boot-SSD auf 2 TB NVMe — oder 4 TB
- Upgrade des Arbeitsspeichers auf 256 GB (4x 64 GB) — mehr Reserve für den MoE-KV-Cache / gleichzeitiges Serving mehrerer Modelle
- Rack-PDU (C13/C19 mit Messfunktion) und 3-kVA-Online-USV
Die Fragen, die uns Käufer vor der Bestellung eines Servers am häufigsten stellen.
Wie lange dauert es?
Maschinen aus Komponenten, die wir vorrätig haben, werden schnell versandt; alles, was eine bestimmte GPU-Generation erfordert, hängt von der Verfügbarkeit ab. Wir nennen Ihnen ein Datum, bevor Sie zahlen, und wenn es sich verschiebt, sagen wir es Ihnen, statt Sie es selbst herausfinden zu lassen.
Kann die Konfiguration vor dem Bau noch geändert werden?
Fast immer. GPUs, Arbeitsspeicher, Storage und Kühlung werden je Bestellung ausgewählt, und die angegebene Konfiguration ist ein Ausgangspunkt und kein festes Paket. Wenn Sie mehr VRAM, schnelleren Storage oder ein anderes Kühlkonzept benötigen, sagen Sie es vor der Bestellung – wir kalkulieren die Änderung.
Kann ich den Server persönlich abholen?
Das können Sie. Unser Lager befindet sich in Prag, und die persönliche Abholung ist willkommen – die meisten, die vorbeikommen, nutzen den Besuch, um die Maschine gemeinsam mit unserem Ingenieur durchzugehen und die Fragen zu stellen, die per E-Mail unangenehm sind. Bei Bestellungen innerhalb Tschechiens versuchen wir außerdem, persönlich zu liefern und Sie vor Ort durch die Einrichtung zu führen.
Kann ich mit jemandem sprechen, der den Workload wirklich versteht?
Ja. Bei uns arbeitet ein Ingenieur speziell an KI-Systemen, kein allgemeines Vertriebsteam. Wenn Ihre Frage Batch-Größen, Quantisierung, Interconnect oder die Frage betrifft, wo Ihr Engpass liegen wird, stellen Sie sie — dieses Gespräch verändert die Konfiguration meist zum Besseren.
Welches Modell kann ich auf dieser Konfiguration betreiben?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Wie testen Sie einen Server vor dem Versand?
Wir testen ihn mit echten KI-Workloads statt mit synthetischen Benchmarks: Inferenz-Durchsatz, Verhalten unter Dauerlast und Thermik im Dauerbetrieb. Die Benchmark-Ergebnisse erhalten Sie zusammen mit der Maschine, sodass Sie die zugesagte Leistung vom ersten Tag an selbst überprüfen können.
Ist der Server bei Lieferung betriebsbereit?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Versand aus unserem EU-Lager. Schwere Artikel erfordern unter Umständen eine Speditionslieferung — kontaktieren Sie uns für ein Versandangebot und die Lieferzeit. 2 Jahre eingeschränkte Garantie mit erweitertem RMA-Support; Garantieverlängerung verfügbar.
Nicht ganz das, was Sie brauchen?
Nennen Sie uns Ihren Workload, und wir legen diese Plattform darauf aus – GPUs, Arbeitsspeicher, Storage und Kühlung passend zu Ihrem tatsächlichen Betrieb.