Tokenů za sekundu na euro: ekonomika GPU pro inferenci

Většina kupujících se ptá špatně. Chtějí vědět, která GPU je „nejrychlejší“. Správná otázka u produkčního inferenčního workloadu zní: „která GPU vyprodukuje nejvíc tokenů na euro utracené v následujících třech letech pro model, který skutečně provozuji“. Odpovědi na tyto dvě otázky se liší a rozdíl je tak velký, že volba podle hrubé rychlosti stojí zákazníky Kentino běžně 30–60% rozpočtu.

Tento článek propočítává čísla. Je určen tomu, kdo dimenzuje inferenční sestavu, přečetl si W01 a N03a teď se musí rozhodnout mezi RTX 5090, RTX Pro 6000 Blackwell, L40 a L4 — a kolik jich pořídit.

Metrika: proč tok/s na euro, a ne tok/s

Záleží na dvou výkonnostních režimech a jejich zaměňování je nejčastější chyba při dimenzování.

Tok/s v jednom streamu je to, co vidí jeden uživatel, když čeká na jednu odpověď. Generování tokenů je limitované propustností a je téměř výhradně funkcí propustnosti VRAM dělené velikostí vah modelu (viz W01). Trvalá propustnost v tok/s je to, co server odbaví napříč mnoha souběžnými uživateli se zapnutým continuous batchingem. Na hardwaru třídy Blackwell je to od dávky 16 výše limitované výpočetním výkonem. A právě na tom v produkci záleží.

Na stejné kartě se obě čísla liší 10–25×. Llama 70B INT4 v jednom streamu na RTX Pro 6000 Blackwell dosahuje přibližně 32 tok/s. Stejná karta při dávce 32 s continuous batchingem ve vLLM dává přes 600 tok/s agregovaně. Volba podle jednoho streamu poddimenzuje propustnostní nasazení o celý řád; volba podle propustnosti naopak předimenzuje nasazení citlivá na latenci. Výpočet TCO zde pracuje s trvalou propustností, protože právě ta tvoří většinu účtu.

Aktuální retailové ceny v EU (květen 2026)

Níže uvedené ceny jsou retailové ceny v EU bez DPH na volném trhu — nejde o objemové OEM kontrakty ani o pronájem v cloudu. Zdrojem jsou evropské cenové srovnávače a distributorské ceníky z května 2026. Berte je jako rozpětí; výkyvy 10–20% mezi čtvrtletími jsou běžné.

Z této tabulky plynou dvě pozorování. Pro 6000 Server Edition stojí zhruba 3× víc než 5090 za 3× větší VRAM a stejnou propustnost — cena kopíruje kapacitu paměti, ne hrubou rychlost. L4 je jediná karta v tabulce pod 100 W. Už jen to mění pohled na TCO, jakmile do rovnice vstoupí elektřina.

Benchmarky jedné GPU

Níže uvedená čísla pocházejí z veřejných benchmarků (vLLM, llama.cpp, SGLang) sebraných od Spheron, CloudRift, RunPod a z vlastních publikovaných běhů projektu vLLM, od května 2025 do května 2026. Nejde o měření Kentino — u konfigurací, které běžně dodáváme, jsme je ověřili proti našim interním sestavám 4×5090 a 4×Pro 6000; veřejná čísla sedí v rozmezí ±15%.

Llama 3.3 70B FP8 — dekódování v jednom streamu

Llama 3.3 70B INT4 (AWQ) — dekódování v jednom streamu

Qwen 2.5 32B INT4 (AWQ) — jeden stream

Llama 3 8B FP16 — jeden stream a agregovaně

Pár upřímných závěrů z těchto tabulek. 5090 a Pro 6000 Blackwell mají shodnou propustnost (1.79 TB/s) i shodnou rychlost dekódování na token — rozdíl je v kapacitě VRAM a v ECC, ne v rychlosti. L40 je v inferenci zhruba na polovičním výkonu oproti dvojici Blackwell, protože GDDR6 ECC má 860 GB/s proti 1,790 GB/s. L4 je karta se čtvrtinovou propustností; vynahrazuje to hustotou a cenou.

U práce v jednom streamu ve třídě 70B je Pro 6000 Blackwell jediná karta, která model utáhne ve FP8 v jediném slotu. 5090 Vás nutí do INT4 a dvoucestného tensor parallelu — a TP=2 na PCIe ztrácí 30–35% na all-reduce (viz N03).

Škálování přes více GPU: daň za PCIe

Tensor parallel jen přes PCIe neškáluje lineárně. Mechanismus jsme popsali v N03; zde jsou empirické násobky, které si dosaďte do modelu TCO.

Pipeline parallel a data parallel škálují téměř lineárně; tensor parallel platí daň, která roste s počtem GPU. U modelu třídy 70B je na 8× 5090 správnou konfigurací dvojice nezávislých replik (DP=2 × TP=4) nebo TP=4 × PP=2 — ne TP=8. Pravidla konfigurace najdete v K03.

Z hlediska nákladů je to zásadní, protože zdvojnásobení počtu GPU nikdy nezdvojnásobí propustnost. Naivní rozpočtový odhad „dvakrát víc GPU, dvakrát víc tok/s“ slibuje o 30–50% víc, než sestava dá.

Model TCO na tři roky

Katalogová cena GPU tvoří zhruba polovinu reálných nákladů na tříletý provoz inferenční karty. Druhou polovinu tvoří elektřina, podíl na šasi a místo v racku. Níže uvedený model používáme interně při dimenzování sestav Kentino AI.

Per-GPU 3-year TCO =
    GPU cost
  + Chassis share (chassis + CPU + RAM + PSU + NIC) / GPU count
  + Electricity:  TDP × utilization × 8,760 h × 3 × €0.20/kWh
  + Colo/rack space share
  + Maintenance & spares (~5% of GPU cost / year)

Použité předpoklady:

• Elektřina: €0.20/kWh v průměru (typická evropská průmyslová kolokace nebo vlastní datacentrum). Česká firemní sazba se často pohybuje mezi €0.18–€0.22; v Německu je vyšší.
• Využití: 60% trvale (reálná produkční zátěž — ne 100% z benchmarku, ani 5% z laboratoře).
• PUE: 1.4. Režie datacentra (chlazení, ztráty v rozvodech). Efektivní cena elektřiny tím roste na 0.28 €/kWh odběru GPU.
• Podíl na šasi: €4,000 rozpuštěných mezi 4 GPU (€1,000/GPU) u sestavy Kentino se 4 GPU 5090; €8,000 mezi 8 (€1,000/GPU) u osmislotového šasi Pro 6000.
• Údržba: 5% z ceny GPU ročně (fond na náhradní kartu + čas na ovladače a provoz).

TCO na jednu GPU

Řádky s elektřinou: TDP × 0.60 × 8,760 × 3 × 0.20 × 1.4 (PUE) / 1,000. Řádek L4 je nápadný — jeho účet za elektřinu za tři roky trvalého provozu je €318. U 5090 je to €2,540. Osmkrát vyšší odběr, osmkrát vyšší účet.

Náklady na milion tokenů

Teď spojte TCO se změřenou trvalou propustností na reprezentativním workloadu — Llama 3.3 70B INT4 při dávce 32, Qwen 32B při dávce 32 nebo Llama 8B při dávce 64. Vezměte trvalou propustnost karty v tok/s, vynásobte ji 0.60 využití × 3 × 8,760 × 3,600 a získáte celkový počet obsloužených tokenů; TCO vydělte tímto číslem. Níže uvedená čísla jsou ilustrativní; dolaďte si je podle svého modelu a dávky.

Třetí sloupec čtěte jako náklad na milion obsloužených tokenů při plně započteném TCO. Open-router a cloudová API si za stejné modely účtují €0.10–€2.00 za milion tokenů podle tarifu; on-premise je tedy při trvalé zátěži zhruba stejně drahé nebo levnější. Výpočet se rozpadá pod 30% využití — TCO pak dominuje kapitálový výdaj, který jste zaplatili bez ohledu na to, jestli jste kartu využili.

Kdy dává smysl 5090

Na papíře má 5090 nejlepší poměr hrubých tok/s na euro ze všech karet v nabídce Kentino pro inferenci do 72B. €2,800 za propustnost 1.79 TB/s a 32 GB GDDR7 je hodně karty za peníze. Pro obsluhu jednoho uživatele u modelu třídy 32B se tomuto poměru nic jiného nevyrovná.

5090 selhává ve dvou věcech:

1. Modely, které se do 32 GB v požadované kvantizaci nevejdou. 70B ve FP8 (~75 GB) potřebuje 3–4 karty; 70B v INT4 (~40 GB) potřebuje 2. Jakmile tensor-parallelizujete přes PCIe, platíte 30–50% daň za all-reduce a tok/s na kartu se propadnou.
2. Škálování přes více GPU nad rámec pipeline parallelu. 8× 5090 je reálný produkt (stavíme ho), ale propustnost na kartu u tensor-parallel 70B je zhruba 0.55× hodnoty jedné karty. Koupili jste osm karet a dostali 4.4× propustnost. Ne 8×.

Silnou stránkou 5090 je provoz více replik menších modelů. 4× 5090 se čtyřmi nezávislými replikami Qwen 32B za load balancerem porazí 4× 5090 v tensor parallelu nad jedinou Llamou 70B v propustnosti i latenci — a úplně se vyhne penalizaci PCIe.

Kdy dává smysl Pro 6000 Blackwell

96 GB ECC GDDR7 při 1.79 TB/s si kupujete, když se 70B ve FP8 musí vejít na jednu kartu a nechcete se o to dohadovat s PCIe. Workstation a Server Edition sdílejí stejný čip, stejnou paměť i propustnost — liší se provedením (aktivní vs. pasivní chlazení), BIOSem s vyšším výkonovým limitem a validací pro OEM serverová šasi. Server Edition stojí o €700–€1,500 víc a je správnou volbou pro jakoukoli rackovou sestavu v provozu 24/7.

Kde Pro 6000 vítězí v tok/s na euro:

• Provoz 70B ve FP8 na jediné kartě. Žádný tensor parallel, žádná daň za PCIe. Jeden stream přes 30 tok/s, dávkově agregovaně přes 480 tok/s.
• Škálování pomocí replik. 4× Pro 6000 = čtyři nezávislé repliky 70B za routerem. Lineární růst propustnosti a elegantní izolace výpadku.
• ECC pro trénink. Pokud workload zahrnuje dolaďování LoRA / QLoRA nebo plný přetrénink, ECC se vyplatí (viz W01).

Kde je Pro 6000 zbytečná: v jakémkoli nasazení, které nepotřebuje >32 GB na kartu. Pokud se Vám všechny modely vejdou na 5090, platíte 3× vyšší cenu za VRAM, kterou nevyužijete. Vídáme to pravidelně — zákazník si naspecifikuje Pro 6000, protože je to „profesionální“ karta, a pak na ní provozuje model 13B.

Kdy dává smysl L40

L40 má nevděčnou pozici. 48 GB ECC, GDDR6 místo GDDR7, propustnost 860 GB/s — v inferenci zhruba polovina Pro 6000 Blackwell za 75–90% ceny. V čistém poměru tok/s na euro v inferenci vítězí Pro 6000.

Argumenty pro L40 stojí na třech jiných osách:

1. TDP. 300 W proti 600 W. Poloviční spotřeba za tři roky (€1,325 proti €2,650 v našem modelu). V tepelně omezených racích nebo na jednofázových okruzích to rozhoduje mezi čtyřmi kartami a dvěma.
2. Validace pro datacentrum. L40 se dodává s pasivním chlazením, OEM validací u Supermicro/Dell/HPE a standardní pětiletou datacentrovou zárukou. Pro 6000 Workstation není validovaná pro provoz v šasi 24/7; Server Edition ano, ale je na trhu kratší dobu.
3. Strop spolehlivosti. L40 je účelově stavěná na trvalou serverovou zátěž. Střední doba mezi poruchami při inferenci v režimu 24/7 je měřitelně lepší než u 5090 odvozené ze spotřebního segmentu.

Upřímný závěr: pokud Vašemu zákazníkovi záleží na dostupnosti víc než na hrubých tok/s — regulovaná odvětví, smlouvy s SLA a pohotovostí, cokoli, co ztrácí peníze, když karta odejde uprostřed noci — stojí L40 za horší poměr tok/s na euro. Z hlediska čistého poměru cena/výkon ne.

Kdy dává smysl L4

L4 je karta, na kterou se nikdo neptá a kterou by si většina zákazníků měla koupit. 24 GB, 72 W, jeden slot, bez napájecího konektoru, pasivní chlazení. Osm se jich vejde do 1U serveru. Šestnáct do 2U.

Co L4 zvládá dobře:

• Hromadná obsluha modelů třídy 8B. Llama 3 8B FP8 při dávce 64 dává kolem 650 tok/s na kartu. Osm L4 v jednom šasi = 5,000 tok/s agregovaně pro endpoint s Llamou 8B. A to při 600 W odběru GPU.
• Hustota replik. Každá L4 hostuje nezávislý model 8B. Osm replik za load balancerem zcela bez komunikace mezi GPU. Výpadek jedné karty ubere 1/8 kapacity, ne celou službu.
• Lokality s omezeným příkonem. Okruh 16 A utáhne dvanáct L4 plus režii hostitele. Stejný okruh sotva utáhne tři 5090.
• Náklady na milion tokenů. Při €0.12/Mtok u 8B FP8 je L4 levnější než kterékoli cloudové API pro stejnou třídu modelu.

Co L4 nezvládá: cokoli nad 13B, cokoli, co potřebuje skutečnou propustnost, a jakýkoli trénink. L4 je účelová inferenční karta pro malé a střední modely. Pokud Váš workload do této kategorie nespadá, přeskočte ji.

Upřímné srovnání s cloudem

Cloudová matematika pro srovnatelnou sestavu. AWS p5.48xlarge (8× H100 SXM) stojí on-demand $98.32/hod, tedy $12.29 na GPU-hodinu. Specializované AI cloudy (Lambda, RunPod, CoreWeave) se pohybují mezi $2.00–$4.00 za H100-hodinu on-demand a níž při ročním závazku.

Tříleté on-demand náklady v cloudu na jeden inferenční slot ekvivalentní H100:

• AWS on-demand: $12.29 × 8,760 × 3 = $323,000
• Spot / zlevněný AI cloud: $2.50 × 8,760 × 3 = $65,700
• AI cloud s ročním závazkem: ~$1.80 × 8,760 × 3 = $47,300

Kentino on-premise 8× Pro 6000 Server Edition: TCO ~€115,000 za tři roky pro osm karet. Na kartu €14,400. To je zhruba čtvrtina nejlevnější rezervované cloudové H100 při srovnatelné inferenční propustnosti (Pro 6000 BW dosahuje ~60–70% výkonu H100 SXM u inferenčních workloadů nezávislých na NVLinku).

Bod zvratu proti rezervované H100 v AI cloudu: on-premise sestava 8× Pro 6000 se zaplatí zhruba při 50% trvalém využití během tří let. Pod touto hranicí pronajímejte. Nad ní vlastněte. Ke stejnému výpočtu dojde každý seriózní on-premise kupující a je to důvod, proč on-premise inference ani v roce 2026 nevymřela navzdory zlevnění cloudu.

Matice doporučení GPU podle workloadu

Upřímný pohled

Většina zákazníků Kentino přijde s otázkou, která karta je nejrychlejší. Pro workload, který většina z nich reálně má — chatovací model 7B nebo 8B, možná reasoning model 32B, možná vision model ve třídě 7B–13B — je správná odpověď L4 nebo 5090, ne vlajková loď. Příplatek za Pro 6000 Blackwell je v našich cenách €5,000–€7,000 na kartu. Při čtyřech kartách v sestavě to dělá €20,000–€28,000 za VRAM, kterou zákazník platí a nevyužije.

Naše práce je zeptat se, které modely, při jaké souběžnosti a s jak dlouhým kontextem — a podle toho dimenzovat. Menší obchod, a zákazník se vrátí, až bude škálovat.

---

Toto je součást Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je propojují. Připomínky a opravy uvítáme na info@kentino.com.