Tokens pro Sekunde pro Euro: GPU-Ökonomie für Inferenz

Die meisten Käufer stellen die falsche Frage. Sie wollen wissen, welche GPU die „schnellste" ist. Die richtige Frage für einen produktiven Inferenz-Workload lautet: „Welche GPU liefert die meisten Tokens pro ausgegebenem Euro über die nächsten drei Jahre – für genau das Modell, das ich tatsächlich betreibe?" Diese beiden Fragen haben unterschiedliche Antworten, und der Abstand ist groß genug, dass die Auswahl nach roher Geschwindigkeit Kentino-Kunden regelmäßig 30–60 % ihres Budgets kostet.

Dieser Artikel rechnet es durch. Zielgruppe ist, wer einen Inferenz-Build dimensioniert, W01 und N03 gelesen hat und sich jetzt zwischen einer RTX 5090, einer RTX Pro 6000 Blackwell, einer L40 oder einer L4 entscheiden muss – und für die Frage, wie viele davon.

Die Kennzahl: warum tok/s pro Euro statt tok/s

Zwei Leistungsregime sind relevant, und sie zu vermischen ist der häufigste Dimensionierungsfehler.

Single-Stream-tok/s ist das, was ein einzelner Nutzer sieht, während er auf eine Antwort wartet. Es ist bei der Token-Generierung bandbreitenlimitiert und fast vollständig eine Funktion der VRAM-Bandbreite geteilt durch den Speicherbedarf der Modellgewichte (siehe W01). Nachhaltiger Durchsatz in tok/s ist das, was ein Server über viele gleichzeitige Nutzer hinweg mit Continuous Batching ausliefert. Auf Hardware der Blackwell-Klasse ist das compute-limitiert, sobald die Batches über 16 wachsen. Genau darauf kommt es im Produktivbetrieb an.

Beide Werte liegen auf derselben Karte um den Faktor 10–25 auseinander. Llama 70B INT4 erreicht im Single-Stream auf einer RTX Pro 6000 Blackwell rund 32 tok/s. Dieselbe Karte schiebt bei Batch 32 mit vLLM Continuous Batching über 600 tok/s aggregiert durch. Wer nach Single-Stream auswählt, unterdimensioniert Durchsatz-Deployments um eine Größenordnung; wer nach Durchsatz auswählt, überdimensioniert latenzkritische Installationen. Die TCO-Rechnung hier nutzt den nachhaltigen Durchsatz, denn er dominiert die Rechnung.

Aktuelle EU-Straßenpreise (Mai 2026)

Die Preise unten sind EU-Straßenpreise, netto, im offenen Kanal – keine OEM-Mengenverträge und keine Cloud-Miete. Quellen sind EU-Preistracker und Distributionslisten aus Mai 2026. Als Spannen zu verstehen; Schwankungen von 10–20 % von Quartal zu Quartal sind normal.

Zwei Beobachtungen allein aus dieser Tabelle. Die Pro 6000 Server Edition kostet rund das Dreifache einer 5090 – für den dreifachen VRAM bei gleicher Bandbreite: Der Preis folgt der Speicherkapazität, nicht der rohen Geschwindigkeit. Die L4 ist die einzige Karte hier unter 100 W. Allein diese Tatsache verschiebt die TCO massiv, sobald Strom in die Gleichung kommt.

Benchmark-Werte für einzelne GPUs

Die folgenden Zahlen stammen aus öffentlichen Benchmarks (vLLM, llama.cpp, SGLang), gesammelt von Spheron, CloudRift, RunPod und den eigenen veröffentlichten Läufen des vLLM-Projekts, Mai 2025 bis Mai 2026. Es sind nicht Kentinos eigene Messungen – wir haben sie für die Konstellationen, die wir regelmäßig ausliefern, gegen unsere internen Systeme mit 4×5090 und 4×Pro 6000 gegengeprüft; die öffentlichen Werte liegen innerhalb von ±15 %.

Llama 3.3 70B FP8 — Single-Stream-Decode

Llama 3.3 70B INT4 (AWQ) — Single-Stream-Decode

Qwen 2.5 32B INT4 (AWQ) — Single-Stream

Llama 3 8B FP16 — Single-Stream und aggregiert

Ein paar ehrliche Schlüsse aus diesen Tabellen. Die 5090 und die Pro 6000 Blackwell haben identische Bandbreite (1.79 TB/s) und identische Decode-Raten pro Token – die Unterschiede liegen in VRAM-Kapazität und ECC, nicht in der Geschwindigkeit. Die L40 liegt bei Inferenz rund halb so schnell wie das Blackwell-Duo, weil GDDR6 ECC 860 GB/s statt 1,790 GB/s liefert. Die L4 ist eine Karte mit einem Viertel der Bandbreite; sie gleicht das über Dichte und Preis aus.

Für Single-Stream-Arbeit in der 70B-Klasse ist die Pro 6000 Blackwell die einzige Karte, die das Modell in FP8 in einem Slot betreibt. Die 5090 zwingt Sie zu INT4 und zweifachem Tensor-Parallelismus – und TP=2 über PCIe verliert 30–35 % an den All-Reduce (siehe N03).

Multi-GPU-Skalierung: die PCIe-Abgabe

Tensor-Parallelismus über reines PCIe skaliert nicht linear. Den Mechanismus haben wir in N03 beschrieben; hier sind die empirischen Faktoren, die Sie in ein TCO-Modell einsetzen sollten.

Pipeline- und datenparallele Pfade skalieren nahezu linear; Tensor-Parallelismus zahlt eine Abgabe, die mit der GPU-Anzahl wächst. Für ein Modell der 70B-Klasse ist die richtige Konfiguration auf 8× 5090 entweder zwei unabhängige Replikate (DP=2 × TP=4) oder TP=4 × PP=2 – nicht TP=8. Die Konfigurationsregeln finden Sie in K03.

Für die Kosten ist das entscheidend, denn die doppelte GPU-Anzahl verdoppelt niemals den Durchsatz. Eine naive Budgetprognose nach dem Muster „doppelt so viele GPUs, doppelt so viele tok/s" verspricht 30–50 % zu viel.

Das 3-Jahres-TCO-Modell

Der Listenpreis der GPU macht etwa die Hälfte der realen Kosten aus, eine Inferenzkarte über drei Jahre zu betreiben. Die andere Hälfte sind Strom, Chassis-Anteil und Stellfläche. Das Modell unten ist das, was wir intern für die Dimensionierung von Kentino AI verwenden.

3-Jahres-TCO pro GPU =
    GPU-Kosten
  + Chassis-Anteil (Chassis + CPU + RAM + Netzteil + NIC) / Anzahl GPUs
  + Strom:  TDP × Auslastung × 8,760 h × 3 × €0.20/kWh
  + Anteil Colocation-/Rackfläche
  + Wartung & Ersatzteile (~5 % der GPU-Kosten pro Jahr)

Verwendete Annahmen:

• Strom: €0.20/kWh im Mischsatz (typische EU-Industrie-Colocation oder eigenes Rechenzentrum). Tschechische Geschäftstarife liegen oft bei €0.18–€0.22; Deutschland höher.
• Auslastung: 60 % dauerhaft (eine realistische Produktionslast – nicht die 100 % aus dem Benchmark, nicht die 5 % aus dem Labor).
• PUE: 1.4. Rechenzentrums-Overhead (Kühlung, Verteilungsverluste). Damit steigen die effektiven Stromkosten auf 0.28 €/kWh GPU-Aufnahme.
• Chassis-Anteil: €4,000 auf 4 GPUs umgelegt (€1,000/GPU) für einen Kentino-Build mit 4 GPUs vom Typ 5090; €8,000 auf 8 (€1,000/GPU) für das 8-GPU-Chassis mit Pro 6000.
• Wartung: 5 % der GPU-Kosten pro Jahr (Rücklage für Ersatzkarten plus Treiber- und Betriebsaufwand).

TCO-Tabelle pro GPU

Die Stromzeilen berechnen sich als TDP × 0.60 × 8,760 × 3 × 0.20 × 1.4 (PUE) / 1,000. Die L4-Zeile ist bemerkenswert – ihre Stromrechnung über drei Jahre Dauerbetrieb beträgt €318. Die der 5090 liegt bei €2,540. Achtmal die Leistungsaufnahme, achtmal die Rechnung.

Kosten pro Million Tokens

Kombinieren Sie nun die TCO mit dem gemessenen nachhaltigen Durchsatz auf einem repräsentativen Workload – Llama 3.3 70B INT4 bei Batch 32, Qwen 32B bei Batch 32 oder Llama 8B bei Batch 64. Nehmen Sie die dauerhaften tok/s einer Karte, multiplizieren Sie mit 0.60 Auslastung × 3 × 8,760 × 3,600, um die insgesamt ausgelieferten Tokens zu erhalten, und teilen Sie die TCO durch diesen Wert. Die Zahlen unten sind illustrativ; passen Sie sie an Ihr tatsächliches Modell und Ihre Batchgröße an.

Lesen Sie die dritte Spalte als Kosten pro ausgelieferter Million Tokens, vollständig belastet mit der TCO. OpenRouter und Cloud-APIs verlangen für dieselben Modelle je nach Stufe €0.10–€2.00 pro Million Tokens; damit liegt On-Premise bei dauerhafter Last in derselben Größenordnung oder günstiger. Unterhalb von 30 % Auslastung bricht die Rechnung zusammen – dann dominiert das Capex die TCO, unabhängig davon, ob Sie es genutzt haben.

Der Fall für die 5090

Auf dem Papier bietet die 5090 die besten rohen tok/s pro Euro aller Karten im Kentino-Portfolio für Inferenz unterhalb von 72B. €2,800 für 1.79 TB/s Bandbreite und 32 GB GDDR7 sind sehr viel Karte. Für die Bedienung eines einzelnen Nutzers mit einem Modell der 32B-Klasse erreicht nichts anderes dieses Verhältnis.

An zwei Stellen fällt die 5090 auseinander:

1. Modelle, die bei der gewünschten Quantisierung nicht in 32 GB passen. Ein 70B in FP8 (~75 GB) braucht 3–4 Karten; ein 70B in INT4 (~40 GB) braucht 2. Sobald Sie über PCIe tensor-parallelisieren, zahlen Sie die All-Reduce-Abgabe von 30–50 %, und Ihre tok/s pro Karte brechen ein.
2. Multi-GPU-Skalierung jenseits von Pipeline-Parallelismus. 8× 5090 ist ein reales Produkt (wir bauen es), aber der Durchsatz pro Karte bei einem tensor-parallelen 70B liegt bei etwa dem 0.55-Fachen des Einzelkartenwerts. Sie haben acht Karten gekauft und bekommen den 4.4-fachen Durchsatz. Nicht den 8-fachen.

Die Stärke der 5090 liegt darin, mehrere Replikate kleinerer Modelle zu hosten. 4× 5090 mit vier unabhängigen Qwen-32B-Replikaten hinter einem Load Balancer schlagen 4× 5090 im Tensor-Parallelismus mit einem einzelnen Llama 70B sowohl beim Durchsatz als auch bei der Latenz – und umgehen die PCIe-Strafe vollständig.

Der Fall für die Pro 6000 Blackwell

96 GB ECC-GDDR7 bei 1.79 TB/s kauft man, wenn ein 70B in FP8 auf eine Karte passen muss und man sich nicht mit PCIe herumstreiten will. Workstation und Server Edition teilen sich dasselbe Silizium, denselben Speicher, dieselbe Bandbreite – der Unterschied liegt im Formfaktor (aktive vs. passive Kühlung), im Maximalleistungs-BIOS und in der Validierung für OEM-Serverchassis. Die Server Edition kostet €700–€1,500 mehr und ist die richtige Wahl für jeden Rack-Build im 24/7-Betrieb.

Wo die Pro 6000 bei tok/s pro Euro gewinnt:

• 70B FP8 auf einer einzigen Karte. Kein Tensor-Parallelismus, keine PCIe-Abgabe. Single-Stream bei über 30 tok/s, im Batch aggregiert über 480 tok/s.
• Scale-out über Replikate. 4× Pro 6000 = vier unabhängige 70B-Replikate hinter einem Router. Lineare Durchsatzskalierung, saubere Fehlerisolierung.
• ECC für Training. Umfasst der Workload LoRA-/QLoRA-Finetuning oder vollständiges Nachtraining, zahlt sich ECC aus (siehe W01).

Wo die Pro 6000 überdimensioniert ist: bei jedem Deployment, das nicht >32 GB pro Karte benötigt. Wenn all Ihre Modelle auf eine 5090 passen, zahlen Sie den dreifachen Preis für VRAM, den Sie nicht nutzen werden. Wir sehen das regelmäßig – der Käufer spezifiziert die Pro 6000, weil sie die „professionelle" Karte ist, und betreibt darauf dann ein 13B-Modell.

Der Fall für die L40

Die L40 sitzt an einer unbequemen Stelle. 48 GB ECC, GDDR6 statt GDDR7, 860 GB/s Bandbreite – bei Inferenz etwa halb so schnell wie eine Pro 6000 Blackwell, zu 75–90 % des Preises. Bei reinen tok/s pro Euro in der Inferenz gewinnt die Pro 6000.

Der Fall für die L40 stützt sich auf drei andere Achsen:

1. TDP. 300 W statt 600 W. Die halben Stromkosten über drei Jahre (€1,325 statt €2,650 in unserem Modell). In thermisch begrenzten Racks oder an einphasigen Stromkreisen entscheidet das zwischen vier Karten und zwei.
2. Rechenzentrumsvalidierung. Die L40 kommt passiv gekühlt, mit OEM-Validierung bei Supermicro, Dell und HPE und dem üblichen 5-Jahres-Garantiepfad für Rechenzentren. Die Pro 6000 Workstation ist nicht für den 24/7-Chassisbetrieb validiert; die Server Edition ist es, ist im Kanal aber neuer.
3. Zuverlässigkeitsgrenze. Die L40 ist gezielt für dauerhafte Serverlast gebaut. Die mittlere Zeit zwischen Ausfällen liegt bei einem 24/7-Inferenz-Workload messbar besser als bei der von Consumer-Hardware abgeleiteten 5090.

Der ehrliche Befund: Wenn Ihrem Kunden Verfügbarkeit wichtiger ist als rohe tok/s – regulierte Branchen, SLA-Verträge mit Rufbereitschaft, alles, was Geld verliert, wenn nachts um drei eine Karte stirbt –, ist die L40 den Abschlag bei tok/s pro Euro wert. Für reines Preis-Leistungs-Verhältnis ist sie es nicht.

Der Fall für die L4

Die L4 ist die Karte, nach der niemand fragt und die die meisten Kunden kaufen sollten. 24 GB, 72 W, Single-Slot, kein Stromstecker nötig, passiv gekühlt. Acht davon passen in einen 1U-Server. Sechzehn in einen 2U.

Was die L4 gut kann:

• Modelle der 8B-Klasse in großem Maßstab ausliefern. Llama 3 8B FP8 bei Batch 64 erreicht rund 650 tok/s pro Karte. Acht L4 in einem Chassis = 5,000 tok/s aggregiert für einen Llama-8B-Endpunkt. Dasselbe Chassis zieht dabei 600 W an GPU-Leistung.
• Dichte durch mehrere Replikate. Jede L4 hostet ein eigenständiges 8B-Modell. Acht Replikate hinter einem Load Balancer, ganz ohne Kommunikation zwischen den GPUs. Fällt eine Karte aus, verlieren Sie ein Achtel der Kapazität, nicht den ganzen Dienst.
• Standorte mit begrenzter Leistung. An einem 16-A-Stromkreis laufen zwölf L4 plus Host-Overhead. Derselbe Stromkreis trägt kaum drei 5090.
• Kosten pro Million Tokens. Mit €0.12/Mtok für 8B in FP8 ist die L4 günstiger als jede Cloud-API derselben Modellklasse.

Was die L4 schlecht kann: alles oberhalb von 13B, alles, was echte Bandbreite braucht, und Training jeder Art. Die L4 ist eine Inferenzkarte mit fester Funktion für kleine und mittlere Modellklassen. Passt Ihr Workload nicht in dieses Profil, lassen Sie sie weg.

Ehrlicher Vergleich mit der Cloud

Die Cloud-Rechnung für einen vergleichbaren Build. AWS p5.48xlarge (8× H100 SXM) steht mit $98.32/Std. On-Demand in der Liste, normiert $12.29 pro GPU-Stunde. Spezialisierte KI-Clouds (Lambda, RunPod, CoreWeave) liegen On-Demand bei $2.00–$4.00 pro H100-Stunde und darunter bei Einjahresbindung.

Cloud-Kosten über drei Jahre On-Demand für einen H100-äquivalenten Inferenz-Slot:

• AWS On-Demand: $12.29 × 8,760 × 3 = $323,000
• Spot-/Discount-KI-Cloud: $2.50 × 8,760 × 3 = $65,700
• KI-Cloud mit Einjahresreservierung: ~$1.80 × 8,760 × 3 = $47,300

Kentino On-Premise mit 8× Pro 6000 Server Edition: TCO rund €115,000 über drei Jahre für acht Karten. Pro Karte €14,400. Das ist etwa ein Viertel der günstigsten reservierten H100 in der Cloud bei vergleichbarem Inferenzdurchsatz (die Pro 6000 BW erreicht bei Workloads ohne NVLink-Abhängigkeit rund 60–70 % einer H100 SXM).

Break-even gegenüber einer reservierten H100 in der KI-Cloud: Die On-Premise-Box mit 8× Pro 6000 amortisiert sich bei etwa 50 % dauerhafter Auslastung über drei Jahre. Darunter mieten. Darüber kaufen. Es ist dieselbe Rechnung, bei der jeder ernsthafte On-Premise-Käufer landet, und der Grund, warum On-Premise-Inferenz 2026 trotz der Preissenkungen in der Cloud nicht tot ist.

Empfehlungsmatrix Workload zu GPU

Der ehrliche Befund

Die meisten Kentino-Kunden fragen zuerst, welche Karte die schnellste ist. Für den Workload, den die meisten von ihnen tatsächlich haben – ein Chat-Modell mit 7B oder 8B, vielleicht ein Reasoning-Modell mit 32B, vielleicht ein Vision-Modell der Klasse 7B–13B –, lautet die richtige Antwort L4 oder 5090, nicht das Flaggschiff. Der Aufpreis für die Pro 6000 Blackwell liegt bei unserer Preisgestaltung bei €5,000–€7,000 pro Karte. Bei vier Karten pro Build sind das €20,000–€28,000 für VRAM, den der Kunde bezahlt und nicht nutzt.

Die Aufgabe besteht darin, nach den Modellen, der Parallelität und dem Kontextfenster zu fragen – und entsprechend zu dimensionieren. Kleinerer Auftrag, dafür kommt der Kunde wieder, wenn er wächst.

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Compute, Robotik und den Systemen, die beides verbinden. Kommentare und Korrekturen sind willkommen unter info@kentino.com.