Kentino KI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB ECC VRAM)
Plattform in Enterprise-Qualität, in der EU montiert und getestet.
Kentino AI 384 Rome RTXPro6000 8000TOPS
384 GB ECC VRAM Rechenzentrums-Server
4x RTX Pro 6000 Server Edition | EPYC Milan | 8 000 TOPS INT8
Veröffentlichte externe Referenzwerte. Nicht auf Kentino-Hardware gemessen.
Ein 4U-Rack-Inferenzserver mit vier passiven Rechenzentrumskarten NVIDIA RTX Pro 6000 Blackwell Server Edition (je 96 GB ECC), gebündelt zu 384 GB ECC-VRAM, einer CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe als Bootlaufwerk und zwei synchronisierten ATX-Netzteilen mit je 2.5 kW. Blackwell-Silizium mit nativer fp8-Beschleunigung. Passive, luftstromgeführte Kühlung für Rechenzentrums-Gehäuse. Betreibt DeepSeek V3 Q3, Mistral Large 3, Qwen3-Coder-480B und jedes bedeutende offene Spitzenmodell.
Hardware
| Komponente | Detail |
|---|---|
| GPUs | 4x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (passiver Rechenzentrumskühler, 600 W TGP, PCIe 5.0 x16, 2000 INT8 TOPS/Karte, fp8 nativ) |
| VRAM-Pool | 384 GB ECC aggregiert über 4 Karten |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe-4.0-Lanes) |
| Mainboard | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| System-RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 DIMM-Steckplätze frei für eine Aufrüstung auf 512 GB) |
| Boot / Speicher | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Netzteil | 2x 2.5 kW ATX mit Synchronkabel für den Dual-Netzteil-Betrieb (5 kW gesamt) |
| Gehäuse | 4U-Rackmontage |
| Kühlung | SP3-Tower-Kühler (Klasse Arctic Freezer 4U-M) + gerichteter Luftstrom von vorne nach hinten (3x 120 mm Einlass vorne + 1x 120 mm Auslass hinten). Passive GPU-Karten — erfordert den Luftstrom eines Rechenzentrums-Gehäuses. |
| Netzwerk | Onboard 2x 10 GbE (Intel X550) |
Leistungsbudget
- GPU-Aufnahme: 4 x 600 W = 2 400 W
- Systemaufnahme gesamt unter Volllast: ~2 775 W
- Netzteilleistung gesamt: 5 000 W (zwei synchronisierte Einheiten mit 2.5 kW) — 44.5% Reserve
- Zwei Netzteile für eine aufgeteilte Stromversorgung — Ausfall eines Netzteils = Verlust von 2 GPUs bzw. 2 GPUs + Mainboard
Lane-Topologie
Das ROMED8-2T stellt 7x PCIe 4.0 x16 direkt vom EPYC Milan bereit. Vier Steckplätze sind belegt — drei bleiben frei für NIC / Storage / Telemetrie. Die RTX Pro 6000 ist Gen5-fähiges Silizium und läuft auf dieser Plattform mit vollen x16 in Gen4 — kein Bandbreiten-Engpass für die Inferenz. Kein PCIe-Switch. Kein NVLink.
Was Sie damit betreiben können
Mit 384 GB gebündeltem ECC-VRAM auf Blackwell-Silizium mit nativem fp8 betreibt dieser Server DeepSeek V3 / R1 in Q3 bequem vollständig im Grafikspeicher, dazu Mistral Large 3 Q3, GLM-5 Q3, Qwen3-Coder-480B Q3 sowie Llama 3.3 70B bf16 vollständig auf einer einzigen Karte (96 GB/Karte).
LLMs — Text / Reasoning / Coding
Chinesische Spitzenmodelle
- DeepSeek V3 / V3-0324 / V3.1 / V3.2 / R1 / R1-0528 Q3 (~290 GB) bequem im Grafikspeicher (~30-40 Tok/s einzeln, veröffentlichter Referenzwert); fp8 nativ (~670 GB) mit Auslagerung in den Arbeitsspeicher
- Qwen3-Coder-480B-A35B Q3 (~350 GB, knapp, mit Auslagerung in den Arbeitsspeicher) — SOTA-Coding-Agent mit offenen Gewichten (~18-25 Tok/s einzeln, veröffentlichter Referenzwert)
- Qwen3-235B-A22B Q6/Q8 (~200-280 GB) mit sehr langem Kontext und Batching für mehrere Nutzer
- GLM-5 / GLM-5.1 Q3 (~317 GB) — chinesisches Spitzenmodell, beim Coding nahe an Claude Opus 4.6
- Kimi-K2 1.58-Bit UD (~240 GB) — Agent mit einer Billion Parametern bei realem Durchsatz
- Hunyuan-Large 389B/52B Q4 (~220 GB), fp8 nativ (~390 GB mit Auslagerung)
- ERNIE-4.5-424B-A47B Q4 (~240 GB); MiniMax-M1 Q4 (~260 GB) mit 1M Kontext
- Llama 3.3 70B bf16 vollständig auf einer einzigen Karte (96 GB/Karte — kein Tensor-Parallelismus nötig)
Westliche Spitzenmodelle
- Mistral Large 3 (675B/41B MoE, Apache 2.0) Q3 (~317 GB) — westliche Spitzenklasse mit offenen Gewichten (~20-30 Tok/s einzeln, veröffentlichter Referenzwert)
- Llama 4 Maverick (400B/17B) Q4 (~232 GB) mit großzügigem KV-Budget (~45-55 Tok/s einzeln, veröffentlichter Referenzwert)
- Llama-3.1-Nemotron Ultra 253B Q4-Q6 (~119-207 GB)
- gpt-oss-120b MXFP4 nativ (80 GB) mit enormer Reserve für viele parallele Instanzen
- Pixtral Large / Mistral Large 2 bf16 (~248 GB); Devstral 2 123B bf16 — 256k, führend beim offenen Coding
- Llama 3.3 70B bf16 auf einer einzigen Karte; 4 parallele 70B-Deployments möglich
Vision-Language-Modelle
Qwen3-VL-235B-A22B bf16 (~240 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B bf16 (~248 GB); Qwen3-Omni-30B-A3B; Molmo 72B; ERNIE-4.5-VL; GLM-4.6V 106B bf16 mit Tensor-Parallelismus. Blackwell fp8 liefert bei der Inferenz des Vision-Towers rund den 2-fachen Durchsatz gegenüber Ada.
Bildgenerierung
FLUX.1 [dev] / Kontext / Tools mit nativem fp8 (~15-20 s pro 1024x1024-Bild auf einer einzelnen RTX Pro 6000, veröffentlichter Referenzwert); SD 3.5 Large; HunyuanImage-2.1 (17B nativ 2K); HunyuanImage-3.0 80B/13B MoE; AuraFlow; OmniGen; 4 parallele ComfyUI-Worker.
Videogenerierung
Wan 2.2 T2V-A14B / I2V-A14B Dual-Expert bf16; HunyuanVideo 13B bf16 mit beiden Experten; Open-Sora 2.0 (11B) bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / Sprache / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Echtzeit / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
- Musik / SFX: MusicGen / AudioGen / Bark / SeamlessM4T
Multi-Modell- und Multi-Mandanten-Betrieb
- DeepSeek V3 Q3 + paralleles 70B + FLUX.1 + Whisper, alle gleichzeitig im Speicher
- 4-facher Tensor-Parallelismus für die Klasse 350-400B in Q4
- Mandantentrennung pro Karte — ein Llama 3.3 70B bf16 mit 96 GB je Karte, 4 unabhängige Inferenz-Silos
- Multi-Modell-RAG: Reader + Reranker + Vision + Embedder auf einem einzigen Host
Ziel-Workloads
- Inferenz-Backend für Spitzenmodelle mit offenen Gewichten — DeepSeek V3 Q3, Qwen3-Coder-480B Q3, GLM-5 Q3
- Produktivbetrieb multimodaler Agenten auf Basis von Llama 4 Maverick Q4 mit großzügigem Kontextbudget
- Trennung von 4 Mandanten über die Karten — ein Llama 3.3 70B bf16 je Mandant, keinerlei gegenseitige Beeinflussung
- fp8-nativer Betrieb von DeepSeek / R1 / Hunyuan auf Blackwell-Silizium
- Mistral Large 3 Q3 als westliche Apache-2.0-Alternative der Spitzenklasse mit offenen Gewichten
Veröffentlichte Performance-Referenzen
Externe Referenzwerte | Nicht auf Kentino-Hardware gemessen
| Benchmark | Ergebnis |
|---|---|
| RTX Pro 6000 INT8 TOPS pro Karte | 2 000 TOPS |
| RTX Pro 6000 Speicherbandbreite | ~1 800 GB/s pro Karte |
| vLLM — DeepSeek V3 Q3 auf 4x Blackwell PCIe (einzeln) | ~30-40 Tok/s |
| vLLM — DeepSeek V3 Q3 auf 4x Blackwell PCIe (Batch 8) | ~200 Tok/s gesamt |
| SGLang — Llama 4 Maverick Q4 auf 4x Blackwell (einzeln) | ~45-55 Tok/s |
| llama.cpp — Qwen3-Coder-480B Q3 auf 4x Blackwell (einzeln) | ~18-25 Tok/s |
| FLUX.1 [dev] fp8 auf einer einzelnen RTX Pro 6000 | ~1.8 s pro 1024x1024-Bild |
Kentino veröffentlicht eigene Messwerte nach dem ersten Kundenaufbau.
Weniger geeignet für
- Einzelnutzer-Workloads bis 70B — 4x RTX 5090 ist für einen 128-GB-Pool deutlich günstiger, sofern ECC und die Zuverlässigkeit passiver Karten nicht gefordert sind
- Geräuscharmer Einsatz im Labor oder in Büronähe — der passive Kühler benötigt einen sauberen Rechenzentrums-Luftstrom von vorne nach hinten. Für schallempfindliche Standorte wählen Sie die Max-Q-Turbofan-Variante (Kentino AI 384 Rome RTXPro6000MQ)
- Training von Spitzenmodellen von Grund auf (kein NVLink)
- Vollständiges DeepSeek V3 Q4 im Grafikspeicher (~404 GB) — dafür Aufrüstung auf 6x RTX Pro 6000 / 576 GB
Garantie und Lieferzeit
Der Aufbau umfasst Montage, BIOS-Konfiguration, Treiberinstallation, Burn-in, Memtest und Funktionsprüfung. Die Lieferzeit hängt von der Verfügbarkeit der Komponenten ab und wird bei der Bestellung bestätigt.
Empfohlene Erweiterungen
- Aufrüstung des Arbeitsspeichers auf 512 GB DDR4 (2x 64 GB ergänzen — 2 DIMM-Steckplätze frei) für mehr Reserve beim Auslagern von Q3-Quantisierungen der Spitzenmodelle
- 4 TB NVMe Gen4 x4 für die Bibliothek der Spitzenmodelle (allein DeepSeek V3 Q3 belegt ~290 GB auf der Platte)
- Kompletter 24U-Rackschrank mit Managed PDU + Online-USV
- Alternative Bauform: Max-Q-Turbofan-Variante (Kentino AI 384 Rome RTXPro6000MQ) — identisches Silizium, leiserer Radiallüfter, für den Einsatz im Labor
Die Fragen, die uns Käufer vor der Bestellung eines Servers am häufigsten stellen.
Wie lange dauert es?
Maschinen aus Komponenten, die wir vorrätig haben, werden schnell versandt; alles, was eine bestimmte GPU-Generation erfordert, hängt von der Verfügbarkeit ab. Wir nennen Ihnen ein Datum, bevor Sie zahlen, und wenn es sich verschiebt, sagen wir es Ihnen, statt Sie es selbst herausfinden zu lassen.
Kann die Konfiguration vor dem Bau noch geändert werden?
Fast immer. GPUs, Arbeitsspeicher, Storage und Kühlung werden je Bestellung ausgewählt, und die angegebene Konfiguration ist ein Ausgangspunkt und kein festes Paket. Wenn Sie mehr VRAM, schnelleren Storage oder ein anderes Kühlkonzept benötigen, sagen Sie es vor der Bestellung – wir kalkulieren die Änderung.
Kann ich den Server persönlich abholen?
Das können Sie. Unser Lager befindet sich in Prag, und die persönliche Abholung ist willkommen – die meisten, die vorbeikommen, nutzen den Besuch, um die Maschine gemeinsam mit unserem Ingenieur durchzugehen und die Fragen zu stellen, die per E-Mail unangenehm sind. Bei Bestellungen innerhalb Tschechiens versuchen wir außerdem, persönlich zu liefern und Sie vor Ort durch die Einrichtung zu führen.
Kann ich mit jemandem sprechen, der den Workload wirklich versteht?
Ja. Bei uns arbeitet ein Ingenieur speziell an KI-Systemen, kein allgemeines Vertriebsteam. Wenn Ihre Frage Batch-Größen, Quantisierung, Interconnect oder die Frage betrifft, wo Ihr Engpass liegen wird, stellen Sie sie — dieses Gespräch verändert die Konfiguration meist zum Besseren.
Welches Modell kann ich auf dieser Konfiguration betreiben?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Wie testen Sie einen Server vor dem Versand?
Wir testen ihn mit echten KI-Workloads statt mit synthetischen Benchmarks: Inferenz-Durchsatz, Verhalten unter Dauerlast und Thermik im Dauerbetrieb. Die Benchmark-Ergebnisse erhalten Sie zusammen mit der Maschine, sodass Sie die zugesagte Leistung vom ersten Tag an selbst überprüfen können.
Ist der Server bei Lieferung betriebsbereit?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Versand aus unserem EU-Lager. Schwere Artikel erfordern unter Umständen eine Speditionslieferung — kontaktieren Sie uns für ein Versandangebot und die Lieferzeit. 2 Jahre eingeschränkte Garantie mit erweitertem RMA-Support; Garantieverlängerung verfügbar.
Nicht ganz das, was Sie brauchen?
Nennen Sie uns Ihren Workload, und wir legen diese Plattform darauf aus – GPUs, Arbeitsspeicher, Storage und Kühlung passend zu Ihrem tatsächlichen Betrieb.