Kosten pro Million Token: On-Prem vs. Cloud

Es gibt 2026 drei ehrliche Wege, LLM-Inferenz einzukaufen: den gehosteten Endpunkt eines anderen aufrufen und pro Token zahlen (Cloud-LLM-API), eine GPU stundenweise mieten und darauf das eigene Modell betreiben (Cloud-GPU-Miete) oder einen Server kaufen und im eigenen Rack betreiben (On-Prem). Der Preis für eine Million Tokens sieht bei allen dreien dramatisch unterschiedlich aus — und nicht in der Reihenfolge, die die meisten Käufer erwarten.

Dieser Artikel rechnet in EUR netto. Zielgruppe: alle, die entscheiden müssen, ob sie weiter monatlich an OpenAI zahlen, zu einem gehosteten Anbieter offener Modelle wechseln, eine H100 mieten oder eine Maschine mit 4 bzw. 8 GPUs kaufen. Wir nennen Preise vom Mai 2026 und schließen mit einem Entscheidungspfad für fünf Minuten. Querverweise: T01 TCO je GPU, W07 Kartenauswahl, I04 Zahlen auf der Stromseite.

Die drei Plattformen

Cloud-LLM-API. OpenAI, Anthropic, Google, Together, Fireworks. Bezahlt wird pro Eingabe- und pro Ausgabe-Token. Keine Leerlaufkosten, kein Capex, kein Betrieb. Dafür auch keine Modellauswahl jenseits des Anbieterkatalogs, kein LoRA, keine Kontrolle über die Quantisierung.

Cloud-GPU-Miete. AWS p5/p5e/p6, Azure ND H200/B200, GCP A3 Ultra sowie Spezialanbieter (Lambda, CoreWeave, Nebius, RunPod). Sie mieten eine GPU-Instanz stundenweise und lassen darauf laufen, was Sie wollen. Modell, Serving-Stack und Betrieb bringen Sie selbst mit. Bezahlt wird unabhängig davon, ob Sie in dieser Stunde ein Token oder eine Milliarde ausliefern.

On-Prem. Sie kaufen eine Maschine mit 4 oder 8 GPUs. Rack im eigenen Gebäude oder in einer Colocation. Strom, Kühlung, Netzwerk und Betrieb bringen Sie mit. Abschreibung über drei Jahre. Die Grenzkosten eines Tokens sind Strom. Die Fixkosten sind alles, was Sie bereits bezahlt haben.

Drei unterschiedliche Kostenprofile — rein variabel, rein fix mit Sprungstelle, Capex plus Grenzkosten —, die sich an verschiedenen Punkten der Durchsatzachse gegenseitig einholen.

Preise der Cloud-LLM-APIs

USD je Million Tokens, öffentliche Preisseiten, Mai 2026. EUR bei EUR/USD ≈ 1.08.

Zwei ehrliche Lesarten. Geschlossene Frontier-Modelle (Claude Opus 4.7, GPT-5, Gemini 2.5 Pro) sind eine Größenordnung teurer als gehostete APIs für offene Modelle wie Llama 70B oder DeepSeek-V3 — das ist der Preis für „das Klügste, was es gerade gibt“ gegenüber „die besten offenen Gewichte, die es gerade gibt“. Für die meisten Produktions-Workloads (RAG, Agentenschritte, Code, Klassifikation) ist Sonnet 4.6 oder GPT-5 mini der richtige Arbeitspunkt, nicht das Flaggschiff. Ausgabe-Tokens kosten bei geschlossenen Anbietern das Drei- bis Siebenfache der Eingabe-Tokens, bei Hostern offener Modelle ungefähr gleich viel. Die Open-Model-SKUs der Hyperscaler (Bedrock, Azure) verlangen für dasselbe Modell 30–80 % Aufschlag gegenüber Together oder Fireworks — Sie zahlen für IAM-Integration und eine einzige Rechnung, nicht für günstigere Tokens.

On-Prem-Kosten je Mtok

Die Kosten je Mtok sind die Gesamtkosten über drei Jahre geteilt durch die in drei Jahren ausgelieferten Tokens. Der Nenner hängt von der Auslastung ab, der Zähler ist weitgehend fix.

On-Prem €/Mtok =
    (Capex + 3 Jahre Strom + 3 Jahre Wartung + 3 Jahre Betrieb) /
    (Dauer-tok/s × Auslastung × 3 × 8,760 × 3,600 / 1e6)

Setzt man die TCO je GPU aus T01 bei 60 % Auslastung, €0.20/kWh und PUE 1.4 ein:

Senken Sie die Auslastung auf 30 %, verdoppelt sich jeder Wert. Treiben Sie sie auf 80 %, landet 8B auf L4 bei €0.09/Mtok — günstiger als jede Cloud-API dieser Klasse. Unterhalb von 25 % Auslastung bricht die Rechnung zusammen, weil die TCO von Capex dominiert wird, den Sie bezahlt haben, ob genutzt oder nicht.

Der Break-even

Legen Sie die Cloud-Linie darüber. Llama 70B bei 100 M Tokens/Monat, 50/50 verteilt, bei Together: 100 × €0.81 = €81/Monat → €2,916 über drei Jahre. Gegen ein On-Prem-System mit 4× 5090 zu €27,000 gewinnt Together um €24,000. Bei 100 M Tokens/Monat liegt On-Prem meilenweit daneben.

Steigern Sie auf 1 B Tokens/Monat: 1,000 × €0.81 = €810/Monat → €29,160 über drei Jahre. Together und das 4× 5090 liegen nur noch €2,000 auseinander. Bei 1.5 B/Monat gewinnt On-Prem deutlich.

Der Break-even für Inferenz der 70B-Klasse gegenüber der günstigsten gehosteten API für offene Modelle liegt bei rund 1.0–1.5 B Tokens pro Monat im Dauerbetrieb auf einem 4× 5090. Bei geschlossenen Frontier-APIs (Claude Sonnet 4.6 mit gemischt €8.34/Mtok, GPT-5 mit gemischt €5.21/Mtok) verschiebt sich der Break-even auf 80–150 M Tokens/Monat — die Cloud-Linie ist eine Größenordnung steiler.

Das ist die wichtigste Zahl in diesem Artikel: Der Break-even liegt nicht pauschal bei „100 M Tokens/Monat für alles“. Er ist workload-spezifisch und hängt vollständig davon ab, gegen welche Cloud-Linie Sie antreten. Käufer, die sagen „wir sind bei 50 M, wir sollten auf On-Prem gehen“, vergleichen meist mit Claude Opus — und damit haben sie recht. Sie übersehen nur, dass ein Wechsel des Workloads von Opus auf Sonnet 4.6 bei diesem Volumen fünfmal mehr spart als der Wechsel von Sonnet auf On-Prem.

Cloud-GPU-Miete — die mittlere Option

Stundensätze je GPU, On-Demand im Mai 2026:

Reservierte 1-Jahres-Commitments bringen 25–35 % Nachlass. AWS p5 on-demand kostet für dasselbe H100-Silizium rund das 3-fache von Lambda. Auf Tokens umgerechnet: 8× H100 bei Lambda mit Llama 3.3 70B FP8 bei dauerhaft ~3,500 tok/s → $16/h × 8,760 × 3 = €389,000 über 3 Jahre → €1.96/Mtok bei 60 % Auslastung. Das ist das 4-fache eines On-Prem-Builds mit 8× Pro 6000 SE (€0.53/Mtok) und das 2.5-fache davon, einfach Together aufzurufen (€0.81/Mtok).

H100 zu mieten, um Inferenz für offene Modelle auszuliefern, ist das Schlechteste aus beiden Welten: Mietpreise für die Maschine und trotzdem der volle Betriebsaufwand. Die Rechnung geht nur auf, wenn Sie ein bestimmtes Modell brauchen, das niemand hostet, und Ihnen das Volumen für On-Prem fehlt. Einen ehrlichen Anwendungsfall hat die Cloud-GPU-Miete aber: Burst-Training. Ein LoRA-Fine-Tune auf 8× H100 über 8 Stunden kostet bei Lambda ~$130. Für einen Einzelfall schlägt das keine On-Prem-TCO. Auf Inferenz lässt sich die Logik nicht übertragen, denn die läuft dauerhaft und 24/7. Die „Spot“-Falle: Spot-, Preemptible- und Community-Stufen bieten 50–80 % Nachlass, sind aber unterbrechbar. Für zustandslose Inferenz-Replikate in Ordnung. Bei einem Trainingslauf über 18 Stunden, der bei jedem Schritt Checkpoints schreibt, verdoppeln zwei Unterbrechungen die Kosten je abgeschlossenem Schritt — und günstiger als On-Demand sind Sie dann nicht mehr.

Versteckte Kosten, die niemand ausweist

Cloud: Egress zu $0.05–0.09/GB schlägt zu, sobald Sie Bilder, Audio oder Video zurückschicken. Logging kommt im großen Maßstab mit 5–10 % dazu. Erneut berechneter Kontext ist das Schlimmste — jede API berechnet bei jedem Aufruf den vollen Prompt, ein Agentenkontext von 50K Tokens kostet also 50K Eingabe-Tokens pro Schritt einer Schleife mit 20 Schritten. Prompt-Caching (Anthropic, OpenAI und Google unterstützen es alle) senkt das bei gecachten Präfixen um 50–90 %, aber nur, wenn Sie architektonisch dafür vorsorgen. Produktions-Rate-Limits beginnen bei 30K–500K TPM und setzen Nutzungshistorie voraus; Neukunden können am ersten Tag nicht in großem Maßstab fahren. SKUs der EU-Region kosten 10–20 % mehr als US East und sind schlechter verfügbar.

On-Prem: Betriebsaufwand von 0.1–0.3 VZÄ je Server entspricht €8k–€24k/Jahr, die in der Rechnung je Mtok nicht auftauchen. Für Ausfälle brauchen Sie eine Redundanzmaschine oder einen sauberen Cloud-Fallback. Strom kostet nicht überall €0.20/kWh — die EU-Industriepreise reichen 2026 von €0.09/kWh (Schweden, norwegische Wasserkraft) bis €0.35/kWh (Italien, Irland), Deutschland liegt bei subventioniertem Industriestrom bei €0.18–€0.22/kWh, Tschechien im offenen Gewerbetarif bei €0.18–€0.25/kWh. Für Italien oder Irland steigt jede Stromzeile in T01 um 50 %. Ein Colocation-Rack kostet €100–€300/Monat für 4U — €3,600–€10,800 über drei Jahre zusätzlich zur Hardware.

Der veröffentlichte Cloud-Preis entspricht etwa dem 1.2–1.5-fachen der tatsächlichen Rechnung, die veröffentlichte On-Prem-TCO etwa dem 1.2–1.5-fachen des Listenpreises. Für den Vergleich heben sich die Faktoren auf.

Faktoren jenseits der Kosten

Drei Dinge stechen bei realen Käufern die Kosten je Mtok aus.

Datensouveränität. Der wichtigste Grund, warum europäische Käufer 2026 auf On-Prem gehen, ist die DSGVO plus die Branchenregulierung (DORA, NIS2, KI-Verordnung, MDR). Produktions-Prompts mit personenbezogenen Daten, Patientenakten oder Betriebsgeheimnissen an einen in den USA gehosteten Endpunkt zu schicken, ist unabhängig vom Preis ein vertragliches Problem. SKUs der EU-Region bedeuten nicht EU-Kontrolle. Für einen regulierten Käufer ist der On-Prem-Aufpreis keine Kostenposition, sondern der Preis dafür, überhaupt rechtmäßig produktiv gehen zu dürfen.

Latenzuntergrenze. Das WAN zum nächstgelegenen gehosteten Endpunkt kostet innerhalb der EU 15–40 ms RTT, transatlantisch 80–120 ms. On-Prem über ein 10-GbE-LAN liegt unter einer Millisekunde. Beim interaktiven Chat verschwindet der WAN-Aufschlag gegenüber 800 ms TTFT. Für eine Robotik-Regelschleife (I01) oder einen Sprachagenten unter 300 ms ist das WAN tödlich.

Anpassbarkeit. Cloud-APIs liefern das Modell und die Quantisierung, die der Anbieter gewählt hat. On-Prem wählen Sie Modell, Quantisierung, Serving-Stack (vLLM, SGLang, llama.cpp), LoRA-Adapter und spekulativen Decoder selbst. Für Forschungslabore oder spezialisierte Produkte ist genau das der Kaufgrund — die Kosten je Mtok sind zweitrangig.

Trifft nichts davon zu, gehört der Käufer unterhalb des Break-even in die Cloud. Nicht jeder Interessent sollte einen Server kaufen.

Durchgerechnet: Workload der 70B-Klasse bei zwei Volumina

Kundenprofil: SaaS-Anbieter für Dokumentenklassifikation und Zusammenfassung, 70/30 Input/Output, offenes Modell der 70B-Klasse.

Bei 100 M Tokens/Monat schlägt Bedrock On-Prem um eine Größenordnung; der Kunde hat sich die Maschine noch nicht verdient. Bei 2 B Tokens/Monat gewinnt On-Prem selbst gegen die günstigste gehostete Alternative klar um das 1.8–2.2-fache. Der Break-even lag für diesen Workload bei rund 800 M – 1.2 B Tokens/Monat. Darunter mieten. Darüber besitzen.

Entscheidungsmatrix

Konservativ gerechnet — ein regulierter Käufer rückt die On-Prem-Spalte eine Zeile nach oben, ein experimentierfreudiger eine Zeile nach unten. Die Frontier-Spalte ist ein Sonderfall: Kein On-Prem-Build ersetzt Claude Opus 4.7 oder GPT-5. Das sind Qualitäts-SKUs, die man bei Bedarf aufruft, keine Workloads, die man selbst hostet.

Die ehrliche Einschätzung

Die meisten Interessenten, die in der Annahme kommen, sie bräuchten einen Server, brauchen keinen. Bei typischen Volumina — 5–50 M Tokens/Monat für ein frühes Produkt, 50–500 M in der mittleren Phase — gewinnen Cloud-APIs noch für weitere zwölf bis vierundzwanzig Monate. Die richtige Antwort lautet: „Nutzen Sie Together oder Bedrock, behalten Sie Ihre Monatsausgaben im Blick und rufen Sie uns an, wenn sie dauerhaft €1,500/Monat übersteigen.“

Käufer, für die On-Prem 2026 Sinn ergibt, fallen in drei Kategorien. Reguliert: Die Daten dürfen das Gebäude nicht verlassen. Dauerhaft im großen Maßstab: 1 B+ Tokens/Monat auf einem Modell der 70B-Klasse, wo die Rechnung um das 2–3-fache gewinnt. Robotik oder niedrige Latenz: Die WAN-Untergrenze bricht der Anwendung das Genick. Rund 30–40 % unserer Interessenten passen in eine dieser Kategorien. Für die übrigen 60–70 % sind Cloud-APIs 2026 ein bemerkenswertes Produkt, und sie sollten dabei bleiben, bis sich die Rechnung ändert.

Training ist ein anderes Thema. Nahezu jeder Workload in der Größenordnung von Kentino AI (LoRA, QLoRA, Fine-Tuning von 7B–32B) ist On-Prem günstiger als Cloud-GPU-Miete — die Maschine läuft während des Laufs zu 100 %. Die Ausnahme ist Hyperscale-Training (vollständiges Pretraining ab 70B, RLHF im großen Maßstab), wofür Sie 8× H100 mit NVLink brauchen, die wir nicht verkaufen (W07 erklärt, warum). Mieten, rechnen lassen, die Gewichte nach Hause holen.

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Compute, Robotik und den Systemen, die beides verbinden. Anmerkungen und Korrekturen gern an info@kentino.com.