Výběr GPU pro AI workloady: 5090, 4090, RTX Pro 6000, L40 a L4 v přímém souboji

Pro práci s AI neexistuje v roce 2026 univerzálně správné GPU. Existuje správné GPU pro definovaný workload, definovaný energetický rozpočet a definovaný budget — a špatná karta ve správném šasi je dražší chyba než správná karta ve špatném šasi. Tento článek porovnává nabídku Kentino kus po kuse, se skutečnými výkonnostními čísly, poctivými kompromisy a rozhodovacím postupem, který reálně používáme na hovorech se zákazníky. Netváříme se, že H100 a A100 neexistují; existují, my je neprodáváme a řekneme přesně, kdy tenhle rozdíl hraje roli.

Karty na stole:

• RTX 5090 — 32 GB GDDR7, 1.79 TB/s, 575 W, spotřebitelská.
• RTX 4090 — 24 GB GDDR6X, 1.01 TB/s, 450 W, spotřebitelská, předchozí generace.
• RTX Pro 6000 Blackwell Server Edition — 96 GB GDDR7 ECC, 600 W, pasivní chlazení, serverový formát, bez obrazových výstupů.
• RTX Pro 6000 Blackwell Max-Q — 96 GB GDDR7 ECC, 300 W, dvouslotová s turbínou, stejný křemík jako Workstation.
• L40 — 48 GB GDDR6 ECC, 0.86 TB/s, 300 W, datacentrový formát, plné ECC.
• L4 — 24 GB GDDR6, 0.30 TB/s, 72 W, jednoslotová low-profile, edge inference.

Parametry, na kterých skutečně záleží

Specifikace GPU jsou plné čísel a většina z nich rozhodnutí o nákupu nijak nezmění. Tři ano.

1. Kapacita VRAM. Tohle je binární. Buď se Váš model vejde, nebo ne. Odkládání do systémové paměti není použitelná náhrada (viz W01).
2. Propustnost VRAM. Generování tokenů na transformeru je limitováno propustností. TFLOPS z papírových specifikací jsou pro inferenci do velké míry nepodstatné.
3. Trvalý příkon a formát. Karta se 600 W v šasi, které neodvede teplo, je karta s 300 W a tepelným alarmem. Karta se 72 W v 1U serveru je úplně jiný stroj než karta s 575 W ve 4U workstationu.

Inference: tokeny za sekundu podle modelu a karty

Generování tokenů v jednom proudu odpovídá přibližně propustnosti dělené velikostí modelu a vynásobené faktorem efektivity softwarového stacku 0.6–0.8. Tabulka níže ukazuje, co jsme naměřili na testovacích sestavách s vLLM 0.6+ a aktuálním llama.cpp ke Q2 2026. Není-li uvedeno jinak, platí pro INT4. Nejprve propustnost jednoho proudu, v závorce souhrnná dávková propustnost tam, kde ji lze změřit.

Několik poctivých výhrad. Jde o typická čísla na správně chlazeném šasi s modelem plně v paměti. TTFT při studené cache určuje alokace KV cache a výpočet prefillu, nikoli propustnost, a napříč touto skupinou karet se pohybuje v rozmezí 200–900 ms. Dávková propustnost škáluje nad 8–16 souběžnými proudy podlineárně kvůli souboji o výpočetní kapacitu. Je-li Vaše aplikace interaktivní (chat, agent krok za krokem), záleží víc na jednom proudu. Je-li hromadná (zpracování dokumentů, automatické štítkování), záleží víc na dávkách.

Stavební blok 4× 5090 je tahounem naší nabídky z dobrého důvodu: samotné karty stojí €8,500–€14,000, čtyři GPU se vejdou do 4U šasi s rozumným prouděním vzduchu a pod vLLM s tensor paralelismem dodají na Llama 3.3 70B INT4 souhrnně ~12,000 tok/s. Jedna Pro 6000 Blackwell za €8,500 dá na stejném modelu ~30 tok/s v jednom proudu a ~90 tok/s dávkově. Pro víceuživatelský servisní stroj vyhrávají 5090. Pro jednoho uživatele s dlouhým kontextem a modely nad 64 GB vyhrává Pro 6000. Univerzální odpověď neexistuje.

Kde dává každá karta skutečně smysl

RTX 5090 — král výkonu na euro s ostrými hranami. Správná volba tam, kde je workloadem inference, rozpočet je reálný, ale ne neomezený, a nasazení snese dvě známá omezení: chybějící ECC a spotřebitelské napěťové špičky, které vyžadují péči o zdroj i šasi (viz W04). U modelů 13B a 32B je 5090 na euro rychlejší než cokoli jiného v tabulce. U třídy 70B dodají čtyři 5090 v tensor paralelismu vyšší souhrnnou propustnost než jedna Pro 6000 Blackwell, a to při nižších celkových pořizovacích nákladech. Nevýhody: 575 W nominálně se špičkami přes 600 W a strop 32 GB na kartu, který u modelů 32B+ s dlouhým kontextem vynutí více GPU. Zvolte, když: nepřetržitá inference pro 7B–32B, rozhoduje poměr výkon/€, máte proudění vzduchu v racku a ECC není tvrdým požadavkem compliance. Vyhněte se, když: ECC je povinné, potřebujete 70B+ na jedné kartě, nebo místnost neodvede 2.4 kW tepla.

RTX 4090 — už jen levnější varianta. V roce 2026 taktický nákup. Nové kusy jsou v retailu vzácné, použité a zbytkové kanálové zásoby stojí €1,400–€1,900. Na kartu je zhruba 55 % rychlosti 5090 u inference limitované pamětí (1.01 vs 1.79 TB/s) a 24 GB proti 32 GB — těch 8 GB hraje roli, protože model 32B v INT4 nechá na 5090 víc místa pro KV cache. Stále dává smysl pro kapitálově omezené rozšíření existující flotily 4090. Začínáte od nuly? Kupte 5090.

RTX Pro 6000 Blackwell Server Edition — král VRAM pro vážné workloady. 96 GB ECC GDDR7 při 1.79 TB/s mění, které modely můžete hostovat. Jedna karta udrží Qwen2.5-VL 72B INT4 s pohodlnou KV cache pro ~20 souběžných proudů. Čtyři v jednom uzlu pojmou Llama 3.1 405B INT4 v jediném šasi bez propojení mezi uzly. Pasivně chlazená, navržená pro rackové proudění zepředu dozadu, bez obrazových výstupů, validovaná pro nepřetržitý provoz. Stejný křemík jako Workstation Edition, stejný strop 600 W, jiné chlazení. Zvolte, když: potřebujete rezervu pro 70B+ na jedné kartě, ECC je podmínkou, jde o rackové nasazení se správným prouděním vzduchu, je ve hře trénink, nebo když méně větších karet vítězí nad více menšími co do místa v racku a příkonu.

RTX Pro 6000 Blackwell Max-Q — vysoká hustota bez předělávání elektroinstalace. Stejných 96 GB a 1.79 TB/s, strop 300 W. Čtyři karty Max-Q odeberou na GPU 1.2 kW, čtyři Server Edition 2.4 kW. Výkonnostní ztráta z omezení příkonu je reálná, ale menší než poměr wattů — křivka výkon/watt Blackwellu je na horním konci strmá, takže omezení na 300 W stojí 20–30 % propustnosti inference, nikoli 50 %. Zvolte, když: máte omezený příkon, chcete 96 GB na kartu, hustota je důležitější než špičkový výkon jedné karty, nebo Vám záleží na hlučnosti.

L40 — podniková inferenční karta s ECC a historií nasazení. Generace Ada. Pomalejší než Blackwell v propustnosti (0.86 vs 1.79 TB/s) i kapacitě (48 vs 96 GB) a oceněná jako datacentrové SKU. Důvodem k nákupu je nákupní politika: plné ECC, validované ovladače, trvalých 300 W a více než dva roky produkčního nasazení. V prostředích, která zakazují spotřebitelské karty (pojišťovnictví, veřejná správa, některá regulovaná odvětví), je to karta, která splní podmínku. V čistém poměru výkon/€ prohrává s 5090. Zvolte, když: nákupní pravidla zakazují spotřebitelský hardware, workload se vejde do 48 GB a spolehlivost v nepřetržitém provozu je důležitější než poměr výkon/€.

L4 — edge inference, 1U, 72 W. Jediná karta z tohoto seznamu, která se bez komplikací vejde do 1U serveru vedle základní desky, a jediná, která si vystačí s příkonem notebooku. TDP 72 W, jednoslotová low-profile, pasivní, 24 GB GDDR6 ECC, 300 GB/s. Úzkým hrdlem je propustnost — jeden proud na modelu 7B dosáhne 35–45 tok/s, což je „v pořádku“, nikoli „rychlé“. Smyslem je rozprostření zátěže: 8× L4 ve 2U šasi na jednom EPYC hostiteli obslouží 8 souběžných inferenčních proudů 7B za rozumnou cenu karet (~€20k), odebere pod 700 W a vejde se do libovolného kancelářského okruhu. Zvolte, když: edge nasazení, 1U/2U, omezený příkon, model se vejde do 24 GB a metrikou je propustnost na watt.

Výkon na euro: tabulka, kterou byste neměli ukazovat finančnímu řediteli

*Pro 70B INT4: čísla na kartu tam, kde se model vejde na jednu kartu; souhrnná propustnost jednoho proudu tam, kde je nutný tensor paralelismus přes více karet, dělená celkovou cenou karet.

5090 je králem poměru výkon/€ u každé velikosti modelu, do které se vejde. Karty Pro 6000 vítězí na jiné ose: modely třídy 70B na jedné kartě odstraní latenci i složitost tensor paralelismu. L40 má v této tabulce s velkým odstupem nejhorší poměr výkon/€ — stojí zhruba 3× víc než 5090 za ~50 % jejího inferenčního výkonu. Její hodnota leží v souladu s nákupními pravidly a v produkční historii generace Ada, nikoli v čisté ekonomice. L4 vítězí v poměru výkon/€ právě v rohu „malý model a nízký příkon“, kde nemá konkurenci.

Výkon na watt: tabulka pro správce kolokace

Max-Q vyhrává v této sestavě poměr výkon/watt, a to se značným náskokem. Omezení 96GB Blackwellu na 300 W udrží kartu v efektivní části její křivky a dostanete většinu propustnosti Server Edition při polovičním odběru ze zásuvky. U kolokace, kde se energie měří a platíte průběžně €0.18–€0.30 za kWh, ušetří Max-Q oproti Server Edition za několik let provozu reálné peníze. Máme zákazníky, kteří přešli ze Server Edition na Max-Q právě proto, aby nemuseli modernizovat chladicí systém budovy.

Poznámky k tréninku a dolaďování

Trénink není hlavní pozicí Kentina — většina zákazníků kupuje inferenci. Dolaďování se ale objevuje všude a volba pro trénink má jiná omezení. Plný trénink modelů 70B+ na této sestavě karet není reálný; vyžaduje 8× H100/H200 SXM nebo pronajatý cloud, a my to tak řekneme. LoRA dolaďování modelů 7B–32B běží pohodlně na 4× 5090 nebo 4× Pro 6000 BW Max-Q. QLoRA u 70B preferuje 2× Pro 6000 BW (jakákoli edice) před 4× 5090 s FSDP, protože jedna karta na repliku modelu je dramaticky jednodušší. Rozhodovací pravidlo: pokud tréninkové běhy trvají déle než 24 hodin a jsou bez dozoru, ECC hraje roli — zvolte Pro 6000 nebo L40. Do 24 hodin a s člověkem u stroje je 5090 v pořádku a na euro rychlejší.

Vision-language modely a otázka Pro 6000 vs H100

VLM mění výpočet, protože stopa aktivací je větší a prefill (kódování obrazu) je víc vázaný na výpočet. U Qwen2.5-VL 72B INT4 (~46 GB) dodá Pro 6000 BW na jedné kartě 18–24 tok/s s prefillem ~1.4 s; 2× 5090 v tensor paralelismu dodají 12–18 tok/s s režií TP 20–40 ms na token. Pro on-premise inferenci v robotice je Pro 6000 BW poctivější volbou, protože Qwen2.5-VL 72B je model, který lidé reálně chtějí provozovat, a jedna karta odstraní režii TP. U pipeline pro automatické štítkování a hromadný převod obrazu na text, kde na latenci nezáleží, vyhrávají 4× 5090 poměrem výkon/€.

Poctivé srovnání: Pro 6000 BW vs H100

H100 neprodáváme. Protože se zákazníci ptají, popíšeme kompromis konkrétně.

Na jednu kartu překonává H100 SXM (80 GB HBM3, 3.35 TB/s) model Pro 6000 BW Server (96 GB GDDR7 ECC, 1.79 TB/s) v inferenci jednoho proudu limitované propustností zhruba 1.5–1.9× — tedy 60 tok/s proti 31 tok/s na Llama 3.3 70B INT4. H100 má navíc NVLink a mezzanine konektor SXM5, což v osmikartovém uzlu HGX přináší propojení mezi GPU rychlostí 900 GB/s. Pro 6000 BW má PCIe 5.0 x16 (~63 GB/s efektivně), tedy zhruba 14× pomalejší přenos mezi kartami.

U inference modelů, které se na jednu kartu vejdou do 96 GB, je tento rozdíl neviditelný — žádný provoz mezi kartami neprobíhá. U inference modelů, které je třeba rozdělit na 4× nebo 8× karet, vyhrává H100 s NVLinkem o 30–50 % souhrnné propustnosti, protože tensor paralelismus je na propojení citlivý. U tréninku přes 8 karet vyhrává H100 jednoznačně.

Cenový rozdíl je 3–3.5× na kartu a 8–12× na použitelný uzel (HGX H100 zahrnuje nosnou desku a NVSwitche). U většiny nehyperscalerových workloadů tenhle poměr nevychází. Tam, kde vychází, zákazník nekupuje od Kentina — kupuje přímo od Dellu, Lenova nebo Supermicra v osmiciferných zakázkách. Řekneme to i do telefonu.

Co naopak neřekneme: že je Pro 6000 Blackwell „stejně dobrá jako“ nebo „konkurenceschopná vůči“ H100. Není, a to v metrikách, na které byla H100 navržena. Je ale správnou kartou pro případy, kde 96 GB ECC při 1.79 TB/s řeší skutečný problém zákazníka — a to je většina z nich.

Rozhodovací postup

Větev končící u „4× RTX 5090“ je jednoznačně nejčastější sestavou, kterou dodáváme. Druhá je větev „4× Pro 6000 BW Server“. Větve s L4 a Max-Q jsou objemově menší, ale ani jedna není okrajová — každé čtvrtletí dodáváme vícekusové zakázky do kancelářských nasazení, kde by karty se 600 W elektroinstalaci budovy nepřežily.

Co neskladujeme

Řekněme to na rovinu: Kentino neprodává H100 SXM, H200 SXM, A100 SXM, B200 ani hardware třídy GB200 NVL. Formát SXM5 a ekosystém nosných desek HGX/NVL patří do jiné úrovně dodavatelského řetězce, ve které nejsme. Varianty H100 v PCIe existovaly jen krátce a z kanálu prakticky zmizely. Pokud Váš workload skutečně vyžaduje 8× H100 s NVLinkem, máte v květnu 2026 tyto poctivé možnosti: pronajmout si kapacitu u hyperscalera nebo specializovaného cloudu, koupit přímo od Dellu / Lenova / Supermicra s dodací lhůtou 12–20 týdnů, nebo spolupracovat s integrátorem této úrovně.

Neskladujeme ani AMD Instinct MI300X či MI325X — na papíře jsou pro inferenci limitovanou pamětí silné (192 GB HBM3, 5.3 TB/s u MI300X), ale vyspělost softwaru ROCm a dostupnost v kanálu v Česku zatím neodpovídají tomu, kde je dnes naše zákaznická základna.

Jak analýza dopadá u typických kupujících

• Výzkumná laboratoř, první inferenční server: 4× RTX 5090 na EPYC Turin se 192 GB RAM, dva zdroje ATX, rackové šasi 4U. Zvládne každý model do 70B INT4 přes TP a má rezervu na dolaďování.
• Startup s produkční inferencí: 4× Pro 6000 BW Server ve 4U s hostitelem EPYC Genoa/Turin, 384–512 GB RAM, zdroj CRPS s redundancí 1+1. ECC, bez obrazových výstupů, rezerva na 70B+ na jedné kartě.
• Robotická laboratoř + výpočetní výkon on-premise: 4× Pro 6000 BW Server. Díky 96 GB zvládnete hostovat Qwen2.5-VL 72B spolu s LLM a ECC je důležité, protože výstup inference řídí fyzický hardware.
• Podnikový nákup kvůli compliance: 4× nebo 8× L40 v šasi Supermicro. Horší poměr výkon/€, ale každá položka kusovníku projde auditem.
• Pobočka, maloobchod, edge: 4× nebo 8× L4 v 1U/2U. Kancelářské napájení, bez speciální vzduchotechniky.
• Rozšíření stávající flotily 4090: další 4090, pokud je rozpočet svazující a seženete je; jinak přimíchejte 5090 (vLLM zvládá TP napříč generacemi přijatelně; nemíchejte 4090 s Pro 6000 — rozdíl v propustnosti zničí efekt, kdy rozhoduje nejslabší karta).

---

Toto je součást Kentino Wiki, referenční série o AI výpočetní technice, robotice a systémech, které je propojují. Komentáře a opravy uvítáme na info@kentino.com.