Tokeny za sekundu na euro: ekonomika GPU pre inferenciu

Väčšina kupujúcich sa pýta nesprávnu otázku. Chcú vedieť, ktoré GPU je „najrýchlejšie“. Správna otázka pri produkčnom inference workloade znie: „ktoré GPU vyprodukuje najviac tokenov na každé euro vynaložené počas nasledujúcich troch rokov pre model, ktorý skutočne prevádzkujem“. Tieto dve otázky majú odlišné odpovede a rozdiel je dosť veľký na to, aby výber podľa hrubej rýchlosti pravidelne stál zákazníkov Kentino 30–60 % rozpočtu.

Tento článok prepočítava čísla. Je určený tomu, kto dimenzuje inference zostavu, prečítal si W01 a N03, a teraz sa potrebuje rozhodnúť medzi RTX 5090, RTX Pro 6000 Blackwell, L40 alebo L4 — a koľko kusov.

Metrika: prečo tok/s na euro, nie tok/s

Záleží na dvoch výkonnostných režimoch a ich zamieňanie je najčastejšou chybou pri dimenzovaní.

Single-stream tok/s je to, čo vidí jeden používateľ, kým čaká na jednu odpoveď. Pri generovaní tokenov je limitovaný priepustnosťou a je takmer úplne funkciou priepustnosti VRAM delenej veľkosťou váh modelu (pozri W01). Trvalá priepustnosť tok/s je to, čo server dodá naprieč mnohými súbežnými používateľmi pri zapnutom continuous batchingu. Na hardvéri triedy Blackwell je od dávok nad 16 limitovaná výpočtovým výkonom. Práve na nej záleží v produkcii.

Na tej istej karte sa obe líšia 10–25×. Single-stream Llama 70B INT4 na RTX Pro 6000 Blackwell dosahuje približne 32 tok/s. Tá istá karta pri dávke 32 s continuous batchingom vo vLLM tlačí 600+ tok/s v súčte. Výber podľa single-stream poddimenzuje priepustnostné nasadenia o celý rád; výber podľa priepustnosti predimenzuje tie, ktoré sú citlivé na latenciu. Výpočet TCO tu pracuje s trvalou priepustnosťou, pretože práve tá dominuje účtu.

Aktuálne maloobchodné ceny v EÚ (máj 2026)

Nižšie uvedené ceny sú maloobchodné ceny v EÚ bez DPH na voľnom trhu — nie objemové OEM kontrakty ani cloudový prenájom. Zdrojom sú európske cenové porovnávače a distribútorské cenníky z mája 2026. Berte ich ako rozpätia; medzikvartálne výkyvy 10–20 % sú bežné.

Dve pozorovania už len z tejto tabuľky. Pro 6000 Server Edition stojí zhruba 3× toľko ako 5090 za 3× viac VRAM a rovnakú priepustnosť — cena kopíruje kapacitu pamäte, nie hrubú rýchlosť. L4 je tu jedinou kartou pod 100 W. Už samotný tento fakt mení TCO, len čo do rovnice vstúpi elektrina.

Benchmarkové čísla pre jedno GPU

Nižšie uvedené čísla pochádzajú z verejných benchmarkov (vLLM, llama.cpp, SGLang) zozbieraných od Spheron, CloudRift, RunPod a z publikovaných behov samotného projektu vLLM, od mája 2025 do mája 2026. Nie je to meranie Kentino — pre bunky, ktoré bežne obsluhujeme, sme ich overili oproti našim interným zostavám 4×5090 a 4×Pro 6000; verejné čísla sedia v rámci ±15 %.

Llama 3.3 70B FP8 — single-stream dekódovanie

Llama 3.3 70B INT4 (AWQ) — single-stream dekódovanie

Qwen 2.5 32B INT4 (AWQ) — single-stream

Llama 3 8B FP16 — single-stream a súhrnne

Niekoľko poctivých záverov z týchto tabuliek. 5090 a Pro 6000 Blackwell majú identickú priepustnosť (1.79 TB/s) a identickú rýchlosť dekódovania na token — rozdiely sú v kapacite VRAM a v ECC, nie v rýchlosti. L40 je pri inferencii zhruba polovičná oproti dvojici Blackwell, pretože GDDR6 ECC má 860 GB/s oproti 1,790 GB/s. L4 má štvrtinovú priepustnosť; vynahrádza to hustotou a cenou.

Pri single-stream úlohách triedy 70B je Pro 6000 Blackwell jedinou kartou, ktorá model udrží vo FP8 v jednom slote. 5090 vás tlačí do INT4 a dvojcestného tensor parallel — a TP=2 cez PCIe stratí 30–35 % na all-reduce (pozri N03).

Škálovanie na viacerých GPU: daň za PCIe

Tensor parallel len cez PCIe neškáluje lineárne. Mechanizmus sme rozobrali v článku N03; tu sú empirické násobky, ktoré by ste mali dosadiť do modelu TCO.

Pipeline-parallel a data-parallel cesty škálujú takmer lineárne; tensor-parallel platí daň, ktorá rastie s počtom GPU. Pre model triedy 70B je na 8× 5090 správnou konfiguráciou dvojica nezávislých replík (DP=2 × TP=4) alebo TP=4 × PP=2 — nie TP=8. Pozri K03 pre pravidlá konfigurácie.

Pre náklady je to podstatné, pretože zdvojnásobenie počtu GPU nikdy nezdvojnásobí priepustnosť. Naivná rozpočtová projekcia „dvakrát toľko GPU, dvakrát toľko tok/s“ sľubuje o 30–50 % viac, než dostanete.

Trojročný model TCO

Katalógová cena GPU je zhruba polovicou skutočných nákladov na prevádzku inference karty počas troch rokov. Druhú polovicu tvorí elektrina, podiel na šasi a podlahová plocha. Nižšie uvedený model používame interne pri dimenzovaní Kentino AI.

Trojročné TCO na GPU =
    cena GPU
  + podiel na šasi (šasi + CPU + RAM + zdroj + NIC) / počet GPU
  + elektrina:  TDP × vyťaženie × 8,760 h × 3 × €0.20/kWh
  + podiel na kolokácii/rackovom priestore
  + údržba & náhradné diely (~5 % ceny GPU / rok)

Použité predpoklady:

• Elektrina: €0.20/kWh v priemere (typická európska priemyselná kolokácia alebo vlastné DC). Pre firmy v Česku to býva €0.18–€0.22; v Nemecku viac.
• Vyťaženie: 60 % trvalo (reálna produkčná záťaž — nie 100 % z benchmarku ani 5 % z laboratória).
• PUE: 1.4. Réžia dátového centra (chladenie, straty v rozvodoch). Efektívnu cenu elektriny to posúva na 0.28 €/kWh odberu GPU.
• Podiel na šasi: €4,000 rozpočítaných na 4 GPU (€1,000/GPU) pri zostave Kentino so štyrmi kartami 5090; €8,000 na 8 (€1,000/GPU) pri 8-GPU šasi s Pro 6000.
• Údržba: 5 % ceny GPU ročne (fond na náhradnú kartu + čas na ovládače a prevádzku).

Tabuľka TCO na jedno GPU

Riadky s elektrinou: TDP × 0.60 × 8,760 × 3 × 0.20 × 1.4 (PUE) / 1,000. Riadok L4 je pozoruhodný — jeho trojročný účet za elektrinu pri trvalej prevádzke je €318. U 5090 je to €2,540. Osemnásobný odber, osemnásobný účet.

Náklady na milión tokenov

Teraz skombinujte TCO s nameranou trvalou priepustnosťou na reprezentatívnom workloade — Llama 3.3 70B INT4 pri dávke 32, Qwen 32B pri dávke 32 alebo Llama 8B pri dávke 64. Vezmite trvalé tok/s karty, vynásobte ich vyťažením 0.60 × 3 × 8,760 × 3,600 a dostanete celkový počet obslúžených tokenov; TCO ním vydeľte. Nižšie uvedené čísla sú ilustratívne; prispôsobte ich svojmu modelu a dávke.

Tretí stĺpec čítajte ako náklady na milión obslúžených tokenov vrátane celého TCO. Open-router a cloudové API si za tie isté modely účtujú €0.10–€2.00 za milión tokenov podľa úrovne; on-prem je teda na podobnej úrovni alebo pri trvalej záťaži lacnejší. Pod 30 % vyťaženia sa výpočet rozpadá — v TCO začne dominovať kapitálový výdavok, ktorý ste zaplatili bez ohľadu na to, či ste ho využili.

Argument pre 5090

Na papieri má 5090 najlepší hrubý pomer tok/s na euro zo všetkých kariet v ponuke Kentino pri inferencii do 72B. €2,800 za priepustnosť 1.79 TB/s a 32 GB GDDR7 je veľa karty. Pri obsluhe modelu triedy 32B pre jedného používateľa sa jej nič iné nevyrovná.

5090 zlyháva na dvoch miestach:

1. Modely, ktoré sa v požadovanej kvantizácii nezmestia do 32 GB. 70B vo FP8 (~75 GB) potrebuje 3–4 karty; 70B v INT4 (~40 GB) potrebuje 2. Len čo model rozdelíte tensor-parallel cez PCIe, platíte 30–50 % daň za all-reduce a tok/s na kartu sa prepadnú.
2. Škálovanie na viac GPU nad rámec pipeline parallel. 8× 5090 je reálny produkt (staviame ho), ale priepustnosť na kartu pri tensor-parallel 70B je zhruba 0.55× hodnoty jednej karty. Kúpili ste osem kariet a získali 4.4× priepustnosť. Nie 8×.

Silnou stránkou 5090 je hosťovanie viacerých replík menších modelov. 4× 5090 so štyrmi nezávislými replikami Qwen 32B za load balancerom porazí 4× 5090 s jedným tensor-parallel modelom Llama 70B v priepustnosti aj v latencii — a úplne sa vyhne penalizácii cez PCIe.

Argument pre Pro 6000 Blackwell

96 GB ECC GDDR7 pri 1.79 TB/s kupujete vtedy, keď sa 70B vo FP8 musí zmestiť na jednu kartu a nechcete sa o tom dohadovať s PCIe. Workstation a Server Edition zdieľajú rovnaký čip, rovnakú pamäť aj rovnakú priepustnosť — líšia sa formátom (aktívne verzus pasívne chladenie), BIOSom s maximálnym príkonom a validáciou pre OEM serverové šasi. Server Edition stojí o €700–€1,500 viac a je správnou voľbou pre akúkoľvek rackovú zostavu v nepretržitej prevádzke.

Kde Pro 6000 vyhráva v tok/s na euro:

• Hosťovanie 70B vo FP8 na jednej karte. Žiadny tensor parallel, žiadna daň za PCIe. Single-stream na 30+ tok/s, dávkovo v súčte 480+ tok/s.
• Škálovanie cez repliky. 4× Pro 6000 = štyri nezávislé repliky 70B za smerovačom. Lineárne škálovanie priepustnosti a čistá izolácia porúch.
• ECC pre tréning. Ak workload zahŕňa doladenie LoRA / QLoRA alebo plné pretrénovanie, ECC sa oplatí (pozri W01).

Kde je Pro 6000 zbytočný: pri každom nasadení, ktoré nepotrebuje >32 GB na kartu. Ak sa všetky vaše modely zmestia na 5090, platíte 3× viac za VRAM, ktorú nevyužijete. Vidíme to pravidelne — zákazník si vyšpecifikuje Pro 6000, pretože je to „profesionálna“ karta, a potom na nej beží model 13B.

Argument pre L40

L40 sedí v nepríjemnej pozícii. 48 GB ECC, GDDR6 namiesto GDDR7, priepustnosť 860 GB/s — pri inferencii zhruba polovica Pro 6000 Blackwell, a to za 75–90 % ceny. V čistom pomere tok/s na euro pri inferencii vyhráva Pro 6000.

Argument pre L40 stojí na troch iných osiach:

1. TDP. 300 W oproti 600 W. Polovičná spotreba elektriny za tri roky (€1,325 oproti €2,650 v našom modeli). V teplotne limitovaných rackoch alebo na jednofázových okruhoch je to rozdiel medzi štyrmi a dvoma kartami.
2. Validácia pre dátové centrá. L40 sa dodáva s pasívnym chladením, OEM validáciou naprieč Supermicro/Dell/HPE a štandardnou 5-ročnou zárukou pre dátové centrá. Pro 6000 Workstation nie je validovaný na nepretržitú prevádzku v šasi; Server Edition áno, no na trhu je kratšie.
3. Strop spoľahlivosti. L40 je účelovo stavaná na trvalú serverovú záťaž. Stredná doba medzi poruchami pri nepretržitom inference workloade je merateľne lepšia než u 5090 odvodenej od spotrebiteľskej karty.

Poctivý záver: ak zákazníkovi záleží na dostupnosti viac než na hrubých tok/s — regulované odvetvia, SLA zmluvy s pohotovosťou, čokoľvek, čo stráca peniaze, keď karta odíde uprostred noci — L40 za ten výpadok v tok/s na euro stojí. Pri čistom pomere cena/výkon nie.

Argument pre L4

L4 je karta, na ktorú sa nikto nepýta, a pritom práve ju by si mala väčšina zákazníkov kúpiť. 24 GB, 72 W, jednoslotová, bez potreby napájacieho konektora, pasívne chladená. Osem kusov sa zmestí do 1U servera. Šestnásť do 2U.

Čo L4 zvláda dobre:

• Obsluha modelov triedy 8B vo veľkom. Llama 3 8B vo FP8 pri dávke 64 dosahuje približne 650 tok/s na kartu. Osem kariet L4 v jednom šasi = 5,000 tok/s v súčte pre endpoint s Llama 8B. A to pri odbere GPU 600 W.
• Hustota replík. Každá L4 hostí nezávislý model 8B. Osem replík za load balancerom úplne bez komunikácie medzi GPU. Výpadok jednej karty odoberie 1/8 kapacity, nie celú službu.
• Lokality s obmedzeným príkonom. Okruh 16 A uživí dvanásť kariet L4 aj s réžiou hostiteľa. Ten istý okruh sotva utiahne tri karty 5090.
• Náklady na milión tokenov. Pri €0.12/Mtok pre 8B vo FP8 je L4 lacnejšia než ktorékoľvek cloudové API pre rovnakú triedu modelov.

Čo L4 nezvláda: čokoľvek nad 13B, čokoľvek, čo potrebuje skutočnú priepustnosť, a akýkoľvek tréning. L4 je úzko zameraná inference karta pre malé až stredné modely. Ak váš workload do tohto rámca nezapadá, preskočte ju.

Poctivé porovnanie s cloudom

Cloudový prepočet pre porovnateľnú zostavu. AWS p5.48xlarge (8× H100 SXM) je v cenníku on-demand za $98.32/hod, čo je $12.29 na GPU-hodinu. Špecializované AI cloudy (Lambda, RunPod, CoreWeave) idú on-demand za $2.00–$4.00 za H100-hodinu a pri ročných záväzkoch ešte nižšie.

Trojročné on-demand náklady v cloude na jeden inference slot v triede H100:

• AWS on-demand: $12.29 × 8,760 × 3 = $323,000
• Spotový/zľavnený AI cloud: $2.50 × 8,760 × 3 = $65,700
• AI cloud rezervovaný na rok: ~$1.80 × 8,760 × 3 = $47,300

Kentino on-prem 8× Pro 6000 Server Edition: TCO ~€115,000 za tri roky za osem kariet. Na kartu €14,400. To je zhruba štvrtina najlacnejšej rezervovanej cloudovej H100 pri porovnateľnej inference priepustnosti (Pro 6000 BW dosahuje ~60–70 % H100 SXM na workloadoch, ktoré nezávisia od NVLink).

Bod zvratu oproti rezervovanej H100 v AI cloude: on-prem zostava 8× Pro 6000 sa zaplatí pri zhruba 50 % trvalom vyťažení počas troch rokov. Pod touto hranicou si prenajímajte, nad ňou vlastnite. K rovnakému výpočtu dospeje každý vážny on-prem kupujúci a je to dôvod, prečo on-prem inferencia v roku 2026 napriek zlacňovaniu cloudu nie je mŕtva.

Matica odporúčaných GPU podľa workloadu

Poctivý pohľad

Väčšina zákazníkov Kentino prichádza s otázkou, ktorá karta je najrýchlejšia. Pre workload, ktorý väčšina z nich v skutočnosti má — chatovací model 7B alebo 8B, možno uvažovací model 32B, možno vizuálny model v triede 7B–13B — je správnou odpoveďou L4 alebo 5090, nie vlajková loď. Cenová prirážka za Pro 6000 Blackwell je v našich cenách €5,000–€7,000 na kartu. Pri štyroch kartách na zostavu je to €20,000–€28,000 za VRAM, ktorú zákazník platí a nevyužije.

Úlohou je spýtať sa, ktoré modely, pri akej súbežnosti a akom kontextovom okne — a podľa toho dimenzovať. Menší obchod, no zákazník sa vráti, keď bude škálovať.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Pripomienky a opravy vítame na info@kentino.com.