Kentino KI 64 Rome 5080 3600TOPS — 4x RTX 5080 Budget KI-Server
Plattform in Enterprise-Qualität, in der EU montiert und getestet.
Kentino AI 64 Rome 5080 3600TOPS
Budget-Server mit 4 GPUs auf Blackwell-Basis
4x RTX 5080 | EPYC Milan | 3 600 TOPS INT8
Der günstige 4-GPU-Blackwell-Server von Kentino — 64 GB VRAM-Pool, 3 600 TOPS INT8 in Summe, bestes Verhältnis von CZK pro TOPS im gesamten Portfolio.
Ein Inferenz-Server mit vier Blackwell-GPUs rund um die RTX 5080 — 360 W pro Karte, PCIe-5-Silizium, je 16 GB GDDR7. Vier Karten liefern einen gepoolten VRAM-Bereich von 64 GB und insgesamt 3 600 TOPS INT8 zum besten CZK-pro-TOPS-Verhältnis, das Kentino bietet. Der Einstieg in Multi-GPU-Inferenz auf Blackwell: ideal für Embedding-Cluster, skalierbares Serving von 7-13B-Modellen, Batch-Generierung von Bildern und Videos sowie 70B Q4 im Tensor-Parallel-Betrieb.
Hardware
| Komponente | Details |
|---|---|
| GPUs | 4x NVIDIA GeForce RTX 5080 16 GB GDDR7 (360 W, PCIe 5.0 x16) |
| VRAM-Pool | 64 GB |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 Lanes) |
| Mainboard | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systemspeicher | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Boot / Speicher | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Netzteil | Einzelnes 2-kW-ATX-Netzteil |
| Gehäuse | 4U-Rack-Einbau, 4x GPU, passive Gen4-x16-Riser, gerichteter Luftstrom von vorne nach hinten |
| Kühlung | SP3-Tower-Kühler, 3x 120 mm Zuluft vorne + 1x 120 mm Abluft hinten (Industrielüfter) |
| Netzwerk | Onboard Dual 10 GbE (Intel X550) + IPMI |
Leistungsbudget
- GPU-Aufnahme: 4 x 360 W = 1 440 W
- Systemgesamtleistung unter Volllast: ~1 765 W
- Netzteilleistung gesamt: 2 000 W (einzelnes 2-kW-ATX) — 11.75 % Reserve
- Oberhalb der 10-%-Untergrenze, aber knapper als bei anderen 4-GPU-Konfigurationen; für Workloads im Dauerbetrieb empfiehlt sich das Upgrade auf zwei Netzteile
Lane-Topologie
Das ROMED8-2T führt 4x16 Gen4 direkt aus dem CPU-Root-Complex heraus. Die 5080 ist PCIe-Gen5-Silizium und läuft mit Gen4 x16 ohne Bandbreiten-Engpass für Inferenz. Kein PCIe-Switch. Kein NVLink — Tensor-Parallelität läuft über PCIe.
Was Sie damit betreiben können
Mit 64 GB gepooltem VRAM über vier Blackwell-Karten bewältigt dieser Server 70B Q4 im Tensor-Parallel-Betrieb, Embedding-Cluster im großen Maßstab, Batch-Pipelines für Bild und Video sowie mandantenfähiges Serving von 7-13B-Modellen für 64-128 gleichzeitige Nutzer.
LLMs — Text / Reasoning / Coding
Chinesische Spitzenmodelle
- Qwen3-32B Q8 (dicht, nahezu fp16-Qualität); Qwen3.5-27B bf16
- Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB, passt knapp)
- Qwen3.5-122B-A10B Q4 (~70-75 GB — knapp, Auslagerung in DDR4-RAM)
- Hunyuan-A13B fp8 (~80 GB nativ — knapp, Q6 empfohlen)
- Seed-OSS-36B bf16 (~72 GB, knapp)
- DeepSeek-R2 32B Sparse MoE bf16 (~64 GB) (~45-60 Tok/s im Einzelstrom bei Q4 auf Blackwell, veröffentlichter Referenzwert)
- GLM-4.5-Air 106B/12B Q3_K (~55 GB) — wenig KV-Reserve
- ERNIE-4.5-47B-A3B Q4 (~28 GB, mit Reserve für ein zweites Modell)
Westliche Spitzenmodelle
- Llama 3.3 70B Q4_K_M (~43 GB) — der Sweetspot für diesen Pool (~30-36 Tok/s im Einzelstrom auf 4x 5080, veröffentlichter Referenzwert)
- Hermes 3 70B / Tulu 3 70B Q4 — offene Llama-Derivate mit vollständig transparentem Post-Training
- Mistral Small 3 / Magistral / Devstral Small 2 24B bf16
- Gemma 3 27B bf16 multimodal
- Phi-4 14B / Nemotron-Super 49B Q6-Q8
- gpt-oss-20b MXFP4 (16 GB — 4 Instanzen auf 4 Karten für parallele Mandanten); gpt-oss-120b MXFP4 (80 GB — knapp; Auslagerung beherrschbar)
Vision-Language
Qwen3-VL-32B / Qwen3-VL-30B-A3B / Qwen3-Omni-30B-A3B; InternVL3.5-38B Q6-Q8; Llama 3.2 90B Vision Q4 (~52 GB, knapp); Pixtral 12B / Pixtral Large 124B Q2-Q3; Gemma 3 27B multimodal bf16; PaliGemma 2 28B bf16; Molmo 72B Q4 (~45 GB); Aya Vision 32B bf16.
Bildgenerierung
FLUX.1 [dev] / [schnell] fp16 — Batch-4 parallel (~10-15 Sekunden pro Bild mit 1024x1024 bei fp8 auf Blackwell, veröffentlichter Referenzwert); FLUX.1 Kontext [dev] — kontextbezogene Bearbeitung über 4 Mandanten hinweg; SD 3.5 Large (18 GB fp16) — 4 parallele Generatoren; SDXL 1.0 + ControlNet + AnimateDiff-Stacks x 4; HunyuanImage-2.1 bf16 pro Karte; AuraFlow v0.3 / OmniGen v1 / Kolors 2.0 / PixArt-Sigma.
Videogenerierung
Wan 2.2 TI2V-5B bf16 auf einer einzelnen Karte — 4 parallele Mandanten; Wan 2.1 14B T2V/I2V Q4-Q6 pro Karte; HunyuanVideo 13B Q4 (~30 GB) 2-fach tensor-parallel; HunyuanVideo 1.5 (8.3B) bf16 pro Karte; Open-Sora 2.0 (11B) Q8 pro Karte — 4 parallele Generierungen; CogVideoX-5B int8; Mochi-1 Q4 pro Karte.
Audio / Sprache / TTS
Der komplette westliche und chinesische Audio-Stack passt pro Karte: Whisper v3 + Parakeet + Canary + Moshi + Step-Audio 2 / R1 + CosyVoice 3.0 + Kokoro + Stable Audio Open + MusicGen + AudioGen + SeamlessM4T v2. Mit vier Karten kann jede Karte einen eigenen Sprach-Mandanten hosten. Whisper v3 turbo läuft mit ~50x Echtzeit pro Karte (veröffentlichter Referenzwert).
Multi-Modell / Multi-Mandant
Der eigentliche Einsatzzweck. 16 GB pro Karte belohnen partitionierte Workloads:
- Embedding-Cluster: BGE-M3 / Nomic / Jina-embed / E5 / Cohere Embed v3 — 4 Mandanten bei hoher RPS-Rate
- 7-13B-Serving im großen Maßstab: 16-32 gleichzeitige Nutzer pro Karte über vLLM / SGLang; 64-128 gleichzeitig insgesamt
- Gemischte Pipeline: Karte 1 = Qwen3-14B + Reranker; Karte 2 = Whisper + Moshi; Karte 3 = FLUX.1; Karte 4 = Wan 2.2 TI2V
- 4-fach tensor-parallel für 70B Q4 — Llama 3.3 70B AWQ INT4 über 4 Karten, ~90-130 Tok/s im Batch-Gesamtdurchsatz (extrapoliert aus dem gf-logic-Benchmark mit 4x4090)
Zielanwendungen
- Günstige Multi-GPU-Plattform für KI-Serving in Start-ups oder Laboren mit knappem Investitionsbudget
- Embedding- und RAG-Infrastruktur mit 4-facher horizontaler Skalierung
- Batch-Farm für Bild- und Videogenerierung (Stable Diffusion / FLUX / Wan 2.2)
- Skalierbares Serving kleiner 7-13B-Modelle — 4 unabhängige Mandanten oder 64-128 gleichzeitige Nutzer im Pool
- Entwicklungs- und Staging-System für Workflows mit 70B Q4 im Tensor-Parallel-Betrieb
Veröffentlichte Leistungsreferenzen
Von Kentino gemessen (Referenz 4x4090) + veröffentlichte Schätzwerte für die 5080
| Benchmark | Ergebnis |
|---|---|
| Referenz 4x4090: fp16 im Dauerbetrieb | 647 TFLOPS |
| Referenz 4x4090: vLLM Llama 3.3 70B AWQ (Batch-32) | 179.3 Tok/s gesamt |
| Referenz 4x4090: llama.cpp 70B Q4_K_M (einzeln) | 20.3 Tok/s Decode |
| Schätzwert 5080: Llama 3.3 70B Q4 TP-4 einzeln | ~15-20 Tok/s |
| Schätzwert 5080: FLUX.1 fp8 pro Karte | ~2.2-2.8 s pro 1024x1024 bei 20 Schritten |
Der Tensor-Durchsatz der 5080 liegt bei ~1.35x der 4090 pro TOPS INT8; das Decode im Einzelstrom ist durch die Speicherbandbreite begrenzt (GDDR7 ~960 GB/s gegenüber 4090 ~1 008 GB/s — praktisch gleichauf).
Weniger geeignet für
- 70B dicht ab Q6 (16 GB pro Karte begrenzen den Footprint je Karte; der 64-GB-Pool ist für Q6 zu knapp)
- MoE-Flaggschiffe mit langem Kontext (Qwen3-235B, GLM-4.5) — selbst bei Q2 zu wenig VRAM
- Latenzkritische Einzelstrom-Anwendungen mit sehr großen Modellen (der TP-Overhead geht auf Kosten der 16-GB-Karten)
Garantie und Lieferzeit
Im Aufbau enthalten sind Montage, BIOS-Konfiguration, Treiberinstallation, Burn-in-Tests und Funktionsprüfung. Die Lieferzeit hängt von der Verfügbarkeit der Komponenten ab und wird bei Bestellung bestätigt.
Empfohlenes Zubehör
- Upgrade auf zwei synchronisierte 2-kW-ATX-Netzteile — erhöht die Reserve auf 55 %
- NVIDIA ConnectX-5 100 GbE MCX555A-ECAT
- Upgrade der Boot-SSD auf 4 TB NVMe
- Upgrade des Arbeitsspeichers auf 384 GB (6x 64 GB) — mehr Reserve für den gleichzeitigen Betrieb mehrerer Modelle
- Rack-PDU (C13/C19 mit Messfunktion) und 3-kVA-Online-USV
Die Fragen, die uns Käufer vor der Bestellung eines Servers am häufigsten stellen.
Wie lange dauert es?
Maschinen aus Komponenten, die wir vorrätig haben, werden schnell versandt; alles, was eine bestimmte GPU-Generation erfordert, hängt von der Verfügbarkeit ab. Wir nennen Ihnen ein Datum, bevor Sie zahlen, und wenn es sich verschiebt, sagen wir es Ihnen, statt Sie es selbst herausfinden zu lassen.
Kann die Konfiguration vor dem Bau noch geändert werden?
Fast immer. GPUs, Arbeitsspeicher, Storage und Kühlung werden je Bestellung ausgewählt, und die angegebene Konfiguration ist ein Ausgangspunkt und kein festes Paket. Wenn Sie mehr VRAM, schnelleren Storage oder ein anderes Kühlkonzept benötigen, sagen Sie es vor der Bestellung – wir kalkulieren die Änderung.
Kann ich den Server persönlich abholen?
Das können Sie. Unser Lager befindet sich in Prag, und die persönliche Abholung ist willkommen – die meisten, die vorbeikommen, nutzen den Besuch, um die Maschine gemeinsam mit unserem Ingenieur durchzugehen und die Fragen zu stellen, die per E-Mail unangenehm sind. Bei Bestellungen innerhalb Tschechiens versuchen wir außerdem, persönlich zu liefern und Sie vor Ort durch die Einrichtung zu führen.
Kann ich mit jemandem sprechen, der den Workload wirklich versteht?
Ja. Bei uns arbeitet ein Ingenieur speziell an KI-Systemen, kein allgemeines Vertriebsteam. Wenn Ihre Frage Batch-Größen, Quantisierung, Interconnect oder die Frage betrifft, wo Ihr Engpass liegen wird, stellen Sie sie — dieses Gespräch verändert die Konfiguration meist zum Besseren.
Welches Modell kann ich auf dieser Konfiguration betreiben?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Wie testen Sie einen Server vor dem Versand?
Wir testen ihn mit echten KI-Workloads statt mit synthetischen Benchmarks: Inferenz-Durchsatz, Verhalten unter Dauerlast und Thermik im Dauerbetrieb. Die Benchmark-Ergebnisse erhalten Sie zusammen mit der Maschine, sodass Sie die zugesagte Leistung vom ersten Tag an selbst überprüfen können.
Ist der Server bei Lieferung betriebsbereit?
Ja. Jede Maschine wird montiert, einem Burn-in-Test unterzogen und mit realen KI-Workloads gebenchmarkt, bevor sie ausgeliefert wird — und sie verlässt uns mit einem bereits installierten und laufenden LLM. Sie schließen sie an, verbinden sie mit Ihrem Netzwerk und legen los — die einzige verbleibende Entscheidung ist, welches Projekt zuerst darauf läuft.
Versand aus unserem EU-Lager. Schwere Artikel erfordern unter Umständen eine Speditionslieferung — kontaktieren Sie uns für ein Versandangebot und die Lieferzeit. 2 Jahre eingeschränkte Garantie mit erweitertem RMA-Support; Garantieverlängerung verfügbar.
Nicht ganz das, was Sie brauchen?
Nennen Sie uns Ihren Workload, und wir legen diese Plattform darauf aus – GPUs, Arbeitsspeicher, Storage und Kühlung passend zu Ihrem tatsächlichen Betrieb.