GPU-Auswahl für KI-Workloads: 5090, 4090, RTX Pro 6000, L40, L4 im Vergleich

Es gibt 2026 keine universell richtige GPU für KI-Aufgaben. Es gibt die richtige GPU für einen definierten Workload, ein definiertes Leistungsbudget und ein definiertes Finanzbudget – und die falsche Karte im richtigen Gehäuse ist ein teurerer Fehler als die richtige Karte im falschen Gehäuse. Dieser Artikel stellt das Kentino-Portfolio direkt gegenüber: mit realen Leistungswerten, ehrlichen Kompromissen und einem Entscheidungsbaum, den wir tatsächlich in Kundengesprächen einsetzen. Er tut nicht so, als gäbe es H100 und A100 nicht; es gibt sie, wir verkaufen sie nicht, und wir sagen genau, wann diese Lücke ins Gewicht fällt.

Die Karten im Vergleich:

• RTX 5090 — 32 GB GDDR7, 1.79 TB/s, 575 W, Consumer.
• RTX 4090 — 24 GB GDDR6X, 1.01 TB/s, 450 W, Consumer, Vorgängergeneration.
• RTX Pro 6000 Blackwell Server Edition — 96 GB GDDR7 ECC, 600 W, passive Kühlung, Server-Formfaktor, keine Displayausgänge.
• RTX Pro 6000 Blackwell Max-Q — 96 GB GDDR7 ECC, 300 W, Dual-Slot-Radiallüfter, identischer Chip wie die Workstation-Variante.
• L40 — 48 GB GDDR6 ECC, 0.86 TB/s, 300 W, Rechenzentrums-Formfaktor, volles ECC.
• L4 — 24 GB GDDR6, 0.30 TB/s, 72 W, Single-Slot Low-Profile, Edge-Inferenz.

Die Spezifikationen, auf die es wirklich ankommt

GPU-Datenblätter sind dicht bedruckt, und die meisten Zahlen darin ändern nichts an einer Kaufentscheidung. Drei davon schon.

1. VRAM-Kapazität. Das ist eine Ja-Nein-Frage. Entweder Ihr Modell passt hinein oder nicht. CPU-Offload ist kein praktikabler Ersatz (behandelt in W01).
2. VRAM-Bandbreite. Die Token-Generierung eines Transformer-Modells ist bandbreitenlimitiert. Die TFLOPS-Angabe aus dem Datenblatt ist für die Inferenz weitgehend irrelevant.
3. Dauerleistung und Formfaktor. Eine 600-W-Karte in einem Gehäuse, das die Wärme nicht abführen kann, ist eine 300-W-Karte mit Temperaturalarm. Eine 72-W-Karte in einem 1U-Server ist eine völlig andere Maschine als eine 575-W-Karte in einer 4U-Workstation.

Inferenz: Token pro Sekunde, nach Modell und Karte

Die Token-Generierung bei Inferenz im Einzelstrom entspricht näherungsweise der Bandbreite geteilt durch die Modellgröße, multipliziert mit einem Stack-Effizienzfaktor von 0.6–0.8. Die folgende Tabelle zeigt, was wir auf Testaufbauten mit vLLM 0.6+ und llama.cpp auf dem Stand von Q2 2026 gemessen haben. INT4, sofern nicht anders angegeben. Zuerst der Durchsatz im Einzelstrom; in Klammern der aggregierte Durchsatz im Batch-Betrieb, wo messbar.

Ein paar ehrliche Einschränkungen. Das sind typische Werte in einem ausreichend gekühlten Gehäuse, bei dem das Modell vollständig im Speicher liegt. Die TTFT bei kaltem Cache wird von der KV-Cache-Allokation und der Prefill-Berechnung bestimmt, nicht von der Bandbreite, und liegt über dieses Kartenfeld hinweg im Bereich 200–900 ms. Der Batch-Durchsatz skaliert jenseits von 8–16 parallelen Strömen unterlinear, weil die Recheneinheiten in Konkurrenz zueinander stehen. Ist Ihre Anwendung interaktiv (Chat, Agent Schritt für Schritt), zählt der Einzelstrom mehr als der Batch. Ist sie auf Massenverarbeitung ausgelegt (Dokumentenverarbeitung, Auto-Labeling), zählt der Batch mehr.

Der Baustein aus 4× 5090 ist aus gutem Grund das Arbeitspferd unseres Portfolios: Die Karten allein kosten €8,500–€14,000, vier GPUs passen mit vernünftigem Luftstrom in ein 4U-Gehäuse, und unter vLLM mit Tensor-Parallelität liefert der Verbund rund 12,000 tok/s aggregiert auf Llama 3.3 70B INT4. Eine einzelne Pro 6000 Blackwell für €8,500 schafft beim selben Modell rund 30 tok/s im Einzelstrom und rund 90 tok/s im Batch. Für eine Box, die viele Nutzer bedient, gewinnen die 5090. Für einen Einzelnutzer-Workload mit großem Kontext und Modellen ab 64 GB gewinnt die Pro 6000. Eine universelle Antwort gibt es nicht.

Wo welche Karte wirklich Sinn ergibt

RTX 5090 – der Preis-Leistungs-König mit scharfen Kanten. Die richtige Antwort, wenn der Workload Inferenz ist, das Budget real, aber nicht unbegrenzt, und die Installation zwei bekannte Einschränkungen verkraftet: kein ECC und Lastspitzen auf Consumer-Niveau, die Sorgfalt bei Netzteil und Gehäuse verlangen (siehe W04). Bei 13B- und 32B-Modellen ist die 5090 pro Euro schneller als alles andere in dieser Tabelle. In der 70B-Klasse liefern vier 5090 im Tensor-Parallel-Verbund mehr Gesamtdurchsatz als eine einzelne Pro 6000 Blackwell – bei geringeren Gesamtinvestitionen. Nachteil: 575 W nominal mit Lastspitzen über 600 W sowie die Obergrenze von 32 GB pro Karte, die ab 32B bei großem Kontext den Mehrkarteneinsatz erzwingt. Wählen Sie sie, wenn: 24/7-Inferenz für 7B–32B, Preis-Leistung zählt, Rack-Luftstrom vorhanden ist und ECC keine harte Compliance-Anforderung ist. Verzichten Sie, wenn: ECC Pflicht ist, 70B+ auf einer einzigen Karte laufen muss oder der Raum 2.4 kW Abwärme nicht abführen kann.

RTX 4090 – nur noch als günstige Altlösung. 2026 ist sie ein taktischer Kauf. Neuware im Handel ist selten; gebraucht und aus Channel-Restbeständen liegt sie bei €1,400–€1,900. Pro Karte erreicht sie bei speicherlimitierter Inferenz rund 55% der Geschwindigkeit einer 5090 (1.01 gegenüber 1.79 TB/s) und bietet 24 GB statt 32 GB – die 8 GB Unterschied zählen, weil ein 32B-INT4-Modell auf einer 5090 mehr Platz für den KV-Cache lässt. Für den budgetbeschränkten Ausbau einer bestehenden 4090-Flotte ergibt sie weiterhin Sinn. Neuaufbau? Dann 5090.

RTX Pro 6000 Blackwell Server Edition – VRAM-König für ernsthafte Workloads. 96 GB ECC-GDDR7 bei 1.79 TB/s verändern, welche Modelle Sie hosten können. Eine einzelne Karte fasst Qwen2.5-VL 72B INT4 mit komfortablem KV-Cache für rund 20 parallele Ströme. Vier Karten in einem Knoten fassen Llama 3.1 405B INT4 in einem einzigen Gehäuse – ganz ohne Netzwerk zwischen Knoten. Passiv gekühlt, auf Rack-Luftstrom von vorne nach hinten ausgelegt, ohne Displayausgänge, für den 24/7-Betrieb validiert. Gleicher Chip wie die Workstation Edition, gleiche 600-W-Grenze, andere Kühlung. Wählen Sie sie, wenn: 70B+ mit Reserve auf einer Karte laufen soll, ECC gefordert ist, das Rack ausreichend Luftstrom bietet, Training mit im Spiel ist oder wenige große Karten bei Rackplatz und Strom besser abschneiden als viele kleine.

RTX Pro 6000 Blackwell Max-Q – hohe Dichte, ohne den Raum neu zu verkabeln. Dieselben 96 GB und 1.79 TB/s, gedeckelt bei 300 W. Vier Max-Q-Karten ziehen 1.2 kW an GPU-Leistung; vier Karten der Server Edition ziehen 2.4 kW. Der Leistungsverlust durch das Power-Limit ist real, fällt aber geringer aus als das Wattverhältnis – die Perf/W-Kurve von Blackwell ist am oberen Ende steil, die Begrenzung auf 300 W kostet daher 20–30% Inferenzdurchsatz, nicht 50%. Wählen Sie sie, wenn: die Stromversorgung knapp ist, Sie 96 GB pro Karte wollen, Dichte wichtiger ist als Spitzendurchsatz pro Karte oder die Geräuschentwicklung eine Rolle spielt.

L40 – die Enterprise-Inferenzkarte mit ECC und Historie. Ada-Generation. Langsamer als Blackwell bei der Bandbreite (0.86 gegenüber 1.79 TB/s) und kleiner bei der Kapazität (48 gegenüber 96 GB), bepreist wie eine Rechenzentrums-SKU. Der Grund, sie zu kaufen, ist der Einkauf: volles ECC, validierte Treiber, dauerhafte 300 W und über zwei Jahre Praxiseinsatz. In Umgebungen, die Consumer-Karten verbieten (Versicherungen, Behörden, einige regulierte Branchen), ist sie die Karte, die das Häkchen setzt. Beim reinen Preis-Leistungs-Verhältnis verliert sie gegen die 5090. Wählen Sie sie, wenn: Ihre Einkaufsrichtlinie Consumer-Hardware ausschließt, der Workload in 48 GB passt und eine 24/7-Zuverlässigkeitsgeschichte wichtiger ist als Perf/€.

L4 – Edge-Inferenz, 1U, 72 W. Die einzige Karte auf dieser Liste, die ohne Drama neben dem Mainboard in einen 1U-Server passt, und die einzige, die mit dem Strombudget eines Notebooks auskommt. 72 W TDP, Single-Slot Low-Profile, passiv, 24 GB GDDR6 ECC, 300 GB/s. Die Bandbreite ist der Flaschenhals – ein 7B-Modell im Einzelstrom landet bei 35–45 tok/s, das ist „ordentlich“, nicht „schnell“. Der Anwendungsfall ist Fan-out: 8× L4 in einem 2U-Gehäuse an einem EPYC-Host liefern 8 parallele 7B-Inferenzströme zu moderaten Gesamtkosten (rund €20k an Karten), ziehen unter 700 W und passen an jeden Bürostromkreis. Wählen Sie sie, wenn: Edge-Installation, 1U/2U, knappe Stromversorgung, das Modell in 24 GB passt und Durchsatz pro Watt die entscheidende Kennzahl ist.

Leistung pro Euro: die Tabelle, die Sie Ihrem CFO besser nicht zeigen

*Für 70B INT4: Werte pro Karte, wenn das Modell auf eine Karte passt; aggregierter Einzelstrom-Durchsatz, wenn Tensor-Parallelität über mehrere Karten nötig ist, geteilt durch die Gesamtkosten der Karten.

Die 5090 ist der Preis-Leistungs-König bei jeder Modellgröße, die sie fassen kann. Die Pro-6000-Karten gewinnen auf einer anderen Achse: Modelle der 70B-Klasse auf einer einzigen Karte machen den Latenz- und Komplexitätsaufschlag der Tensor-Parallelität überflüssig. Die L40 hat in dieser Tabelle mit deutlichem Abstand das schlechteste Preis-Leistungs-Verhältnis – sie kostet rund 3× so viel wie eine 5090 und liefert dafür etwa 50% der Inferenzleistung. Ihr Wertversprechen ist Einkaufs-Compliance und eine bewährte Ada-Generation im Produktivbetrieb, nicht die reine Wirtschaftlichkeit. Die L4 gewinnt beim Preis-Leistungs-Verhältnis genau in der Ecke kleines Modell plus geringe Leistungsaufnahme, wo sie keine Konkurrenz hat.

Leistung pro Watt: die Tabelle für den Colocation-Manager

Bei Perf/W gewinnt die Max-Q in diesem Feld – und zwar deutlich. Eine 96-GB-Blackwell auf 300 W zu deckeln hält die Karte im effizienten Teil ihrer Kurve, und Sie erhalten den Großteil des Durchsatzes der Server Edition bei halber Leistungsaufnahme an der Steckdose. In der Colocation, wo Strom gemessen wird und Sie dauerhaft €0.18–€0.30 pro kWh zahlen, spart die Max-Q über eine mehrjährige Laufzeit gegenüber der Server Edition echtes Geld. Wir haben Kunden, die genau deshalb von der Server Edition auf Max-Q gewechselt sind, um die Kälteanlage ihres Gebäudes nicht aufrüsten zu müssen.

Hinweise zu Training und Fine-Tuning

Training ist nicht Kentinos Hauptpositionierung – die meisten Kunden kaufen für Inferenz. Fine-Tuning taucht aber überall auf, und für Training gelten andere Randbedingungen. Vollparameter-Training von Modellen ab 70B ist mit diesem Portfolio nicht sinnvoll machbar; dafür braucht es 8× H100/H200 SXM oder gemietete Cloud-Kapazität, und das sagen wir auch so. LoRA-Fine-Tuning von 7B–32B läuft bequem auf 4× 5090 oder 4× Pro 6000 BW Max-Q. Für QLoRA von 70B sind 2× Pro 6000 BW (gleich welcher Edition) die bessere Wahl als 4× 5090 mit FSDP, weil eine Karte pro Modellreplik dramatisch einfacher ist. Die Entscheidungsregel: Laufen Trainings länger als 24 Stunden und unbeaufsichtigt, zählt ECC – dann Pro 6000 oder L40. Unter 24 Stunden und mit einem Menschen im Loop ist die 5090 in Ordnung und pro Euro schneller.

Vision-Language und die Frage Pro 6000 gegen H100

VLMs verändern die Rechnung, weil der Aktivierungs-Footprint größer und das Prefill (die Bildkodierung) stärker rechenlimitiert ist. Für Qwen2.5-VL 72B INT4 (rund 46 GB) liefert die Pro 6000 BW 18–24 tok/s auf einer einzelnen Karte bei rund 1.4 s Prefill; 2× 5090 im Tensor-Parallel-Verbund liefern 12–18 tok/s mit 20–40 ms TP-Aufschlag pro Token. Für Robotik-Inferenz vor Ort ist die Pro 6000 BW die ehrlichere Wahl, weil Qwen2.5-VL 72B das Modell ist, das die Leute tatsächlich betreiben wollen, und eine Karte den TP-Aufschlag eliminiert. Für Auto-Labeling-Pipelines und die Massenverarbeitung von Bild zu Text, wo Latenz keine Rolle spielt, gewinnen 4× 5090 weiterhin beim Preis-Leistungs-Verhältnis.

Ehrlicher Vergleich: Pro 6000 BW gegen H100

Wir verkaufen keine H100. Wir benennen den Kompromiss trotzdem konkret, weil Kunden danach fragen.

Pro Einzelkarte schlägt die H100 SXM (80 GB HBM3, 3.35 TB/s) die Pro 6000 BW Server (96 GB GDDR7 ECC, 1.79 TB/s) bei bandbreitenlimitierter Einzelstrom-Inferenz um rund 1.5–1.9× – also 60 tok/s gegenüber 31 tok/s bei Llama 3.3 70B INT4. Die H100 hat zudem NVLink und den SXM5-Mezzanine-Anschluss, was in einem HGX-Knoten mit 8 GPUs 900 GB/s Interconnect von GPU zu GPU bringt. Die Pro 6000 BW nutzt PCIe 5.0 x16 (rund 63 GB/s effektiv), etwa 14× langsamer für den Verkehr zwischen Karten.

Bei der Inferenz von Modellen, die in 96 GB auf eine einzelne Karte passen, ist dieser Unterschied unsichtbar – es gibt keinen Verkehr zwischen Karten. Bei Modellen, die über 4× oder 8× Karten verteilt werden müssen, gewinnt die H100 mit NVLink beim Gesamtdurchsatz um 30–50%, weil Tensor-Parallelität empfindlich auf den Interconnect reagiert. Beim Training über 8 Karten gewinnt die H100 deutlich.

Der Preisabstand beträgt 3–3.5× pro Karte und 8–12× pro nutzbarem Knoten (bei HGX H100 sind Trägerplatine und NVSwitches enthalten). Für die meisten Workloads außerhalb der Hyperscaler geht diese Rechnung nicht auf. Wo sie aufgeht, kauft der Kunde nicht bei Kentino – er kauft direkt bei Dell, Lenovo oder Supermicro in Abschlüssen mit 8-stelligen Summen. Das sagen wir auch am Telefon so.

Was wir nicht sagen werden: dass die Pro 6000 Blackwell „so gut wie“ oder „konkurrenzfähig mit“ einer H100 sei. Ist sie nicht, gemessen an den Kennzahlen, für die die H100 entworfen wurde. Sie ist aber die richtige Karte für die Anwendungsfälle, in denen 96 GB ECC bei 1.79 TB/s das tatsächliche Problem des Kunden lösen – und das sind die meisten.

Entscheidungsbaum

Der Zweig, der auf „4× RTX 5090“ hinausläuft, ist der mit Abstand häufigste Aufbau, den wir ausliefern. Der Zweig, der auf „4× Pro 6000 BW Server“ hinausläuft, folgt auf Platz zwei. Der L4-Zweig und der Max-Q-Zweig sind mengenmäßig kleiner, aber keiner von beiden ist eine Nische – jedes Quartal liefern wir Aufträge über mehrere Geräte in Büroumgebungen, in denen 600-W-Karten die Gebäudeelektrik nicht überleben würden.

Was wir nicht führen

Klar gesagt: Kentino verkauft keine H100 SXM, H200 SXM, A100 SXM, B200 oder Hardware der GB200-NVL-Klasse. Der SXM5-Formfaktor und das HGX/NVL-Trägerplatinen-Ökosystem gehören zu einer Ebene der Lieferkette, in der wir nicht unterwegs sind. PCIe-Varianten der H100 gab es kurzzeitig, aus dem Channel sind sie praktisch verschwunden. Wenn Ihr Workload wirklich 8× H100 mit NVLink verlangt, sind Ihre ehrlichen Optionen im Mai 2026: bei einem Hyperscaler oder einer Spezial-Cloud mieten, direkt bei Dell / Lenovo / Supermicro mit 12–20 Wochen Vorlauf kaufen oder mit einem Integrator dieser Klasse arbeiten.

AMD Instinct MI300X oder MI325X führen wir ebenfalls nicht – auf dem Papier stark für speicherlimitierte Inferenz (192 GB HBM3, 5.3 TB/s bei der MI300X), doch die Reife der ROCm-Software und die Verfügbarkeit im Channel passen in Tschechien heute nicht zu unserer Kundenbasis.

Wohin die Analyse für typische Käufer führt

• Forschungslabor, erster Inferenzserver: 4× RTX 5090 auf EPYC Turin mit 192 GB RAM, zwei ATX-Netzteilen, 4U-Rackgehäuse. Führt über TP jedes Modell bis 70B INT4 aus, mit Reserve für Fine-Tuning.
• Start-up mit produktiver Inferenz: 4× Pro 6000 BW Server in 4U mit EPYC-Genoa/Turin-Host, 384–512 GB RAM, CRPS-Netzteil mit 1+1-Redundanz. ECC, headless, Reserve für 70B+ auf einer einzelnen Karte.
• Robotiklabor + On-Premises-Compute: 4× Pro 6000 BW Server. Die 96 GB erlauben es, Qwen2.5-VL 72B und ein LLM gemeinsam zu hosten; ECC zählt, weil die Inferenzausgabe physische Hardware steuert.
• Unternehmenseinkauf nach Compliance-Vorgaben: 4× oder 8× L40 in einem Supermicro-Gehäuse. Schlechteres Preis-Leistungs-Verhältnis, aber jede Position der Stückliste besteht das Audit.
• Filiale, Handel, Edge: 4× oder 8× L4 in 1U/2U. Bürostrom, keine besondere Klimatechnik.
• Ausbau einer bestehenden 4090-Flotte: weitere 4090, wenn das Budget bindet und Sie welche auftreiben; sonst 5090 dazumischen (vLLM verkraftet TP über Generationen hinweg akzeptabel; mischen Sie 4090 nicht mit Pro 6000 – das Bandbreitengefälle ruiniert den Effekt, bei dem die schwächste Karte das Tempo vorgibt).

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Compute, Robotik und den Systemen, die beides verbinden. Kommentare und Korrekturen willkommen unter info@kentino.com.