Výber GPU pre AI workloady: 5090, 4090, RTX Pro 6000, L40, L4 v súboji

V roku 2026 neexistuje univerzálne správna GPU pre prácu s AI. Existuje správna GPU pre definovaný workload, definovaný príkonový strop a definovaný rozpočet — a nesprávna karta v správnom šasi je drahšia chyba než správna karta v nesprávnom šasi. Tento článok porovnáva portfólio Kentino kus po kuse, so skutočnými výkonovými číslami, úprimne pomenovanými kompromismi a rozhodovacím postupom, ktorý reálne používame pri hovoroch so zákazníkmi. Nepredstiera, že H100 a A100 neexistujú; existujú, my ich nepredávame a presne povieme, kedy na tom rozdiele záleží.

Karty na stole:

• RTX 5090 — 32 GB GDDR7, 1.79 TB/s, 575 W, spotrebiteľská.
• RTX 4090 — 24 GB GDDR6X, 1.01 TB/s, 450 W, spotrebiteľská, predchádzajúca generácia.
• RTX Pro 6000 Blackwell Server Edition — 96 GB GDDR7 ECC, 600 W, pasívne chladenie, serverový form factor, bez obrazových výstupov.
• RTX Pro 6000 Blackwell Max-Q — 96 GB GDDR7 ECC, 300 W, dvojslotový blower, rovnaký kremík ako Workstation.
• L40 — 48 GB GDDR6 ECC, 0.86 TB/s, 300 W, form factor pre dátové centrá, plné ECC.
• L4 — 24 GB GDDR6, 0.30 TB/s, 72 W, jednoslotová low-profile, edge inferencia.

Parametre, na ktorých naozaj záleží

Katalógové listy GPU sú husté a väčšina čísel nákupné rozhodnutie nezmení. Tri z nich áno.

1. Kapacita VRAM. Je to binárne. Buď sa Váš model zmestí, alebo nie. Offload do CPU nie je použiteľná náhrada (rozoberáme v W01).
2. Priepustnosť VRAM. Generovanie tokenov na transformeri je limitované priepustnosťou. Katalógové TFLOPS sú pre inferenciu do veľkej miery irelevantné.
3. Trvalý príkon a form factor. Karta so 600 W v šasi, ktoré neodvedie teplo, je 300 W karta s teplotným alarmom. Karta so 72 W v 1U serveri je úplne iný stroj než 575 W karta v 4U workstation.

Inferencia: tokeny za sekundu podľa modelu a karty

Generovanie tokenov pri inferencii v jednom streame sa približne rovná priepustnosti delenej veľkosťou modelu a vynásobenej faktorom efektivity stacku 0.6–0.8. Tabuľka nižšie je to, čo sme namerali na testovacích zostavách s vLLM 0.6+ a llama.cpp v stave k Q2 2026. INT4, ak nie je uvedené inak. Najprv priepustnosť jedného streamu; dávkový súhrn v zátvorkách tam, kde sa dal zmerať.

Zopár úprimných výhrad. Ide o typické čísla na správne chladenom šasi s modelom plne načítaným v pamäti. TTFT pri studenej cache určuje alokácia KV cache a prefill výpočet, nie priepustnosť, a pohybuje sa v rozsahu 200–900 ms naprieč týmito kartami. Dávková priepustnosť škáluje sublineárne nad 8–16 súbežných streamov kvôli súbojom o výpočtový výkon. Ak je Vaša aplikácia interaktívna (chat, agent krok za krokom), jeden stream je dôležitejší než dávka. Ak je Vaša aplikácia hromadná (spracovanie dokumentov, autolabeling), dôležitejšia je dávka.

Stavebný blok 4× 5090 je ťahúňom nášho portfólia a má to dôvod: samotné karty stoja €8,500–€14,000, štyri GPU sa zmestia do 4U šasi s rozumným prúdením vzduchu a dodajú ~12,000 tok/s v súčte na Llama 3.3 70B INT4 pod vLLM s tenzorovým paralelizmom. Jediná Pro 6000 Blackwell za €8,500 dodá ~30 tok/s v jednom streame a ~90 tok/s dávkovo na tom istom modeli. Pre viacpoužívateľský servovací stroj vyhrávajú 5090. Pre jedného používateľa s dlhým kontextom a modelmi nad 64 GB vyhráva Pro 6000. Univerzálna odpoveď neexistuje.

Kde dáva každá karta naozaj zmysel

RTX 5090 — kráľ výkonu na euro s ostrými hranami. Správna odpoveď, keď je workloadom inferencia, rozpočet je reálny, ale nie neobmedzený, a nasadenie znesie dve známe obmedzenia: žiadne ECC a napäťové špičky spotrebiteľskej triedy, ktoré vyžadujú pozornosť pri zdroji a šasi (pozri W04). Pri 13B a 32B modeloch je 5090 na euro rýchlejšia než čokoľvek iné v tabuľke. Pri triede 70B dodajú štyri 5090 v tenzorovom paralelizme vyšší súhrnný výkon než jedna Pro 6000 Blackwell pri nižšom celkovom capexe. Nevýhoda: 575 W nominálne so špičkami nad 600 W a strop 32 GB na kartu, ktorý pri 32B+ s dlhým kontextom núti ísť do multi-GPU. Voľte vtedy, keď: inferencia 24/7 pre 7B–32B, záleží na pomere výkon/€, máte prúdenie vzduchu v racku a ECC nie je tvrdá požiadavka compliance. Vyhnite sa vtedy, keď: ECC je povinné, potrebujete 70B+ na jednej karte alebo miestnosť neodvedie 2.4 kW tepla.

RTX 4090 — už len lacnejšia legacy voľba. V roku 2026 taktický nákup. Nový maloobchodný tovar je vzácny; použité a zvyškové kanálové kusy stoja €1,400–€1,900. Na kartu ide zhruba o 55 % rýchlosti 5090 pri inferencii limitovanej pamäťou (1.01 vs 1.79 TB/s) a o 24 GB oproti 32 GB — tých 8 GB je dôležitých, pretože 32B INT4 model nechá na 5090 viac miesta pre KV cache. Stále dáva zmysel pri capexom obmedzenom rozširovaní existujúcej flotily 4090. Začínate od nuly? Kupujte 5090.

RTX Pro 6000 Blackwell Server Edition — kráľ VRAM pre vážne workloady. 96 GB ECC GDDR7 pri 1.79 TB/s mení to, aké modely dokážete hostovať. Jedna karta udrží Qwen2.5-VL 72B INT4 s pohodlnou KV cache pre ~20 súbežných streamov. Štyri v jednom uzle udržia Llama 3.1 405B INT4 v jedinom šasi bez siete medzi uzlami. Pasívne chladená, navrhnutá na prúdenie vzduchu v racku spredu dozadu, bez obrazových výstupov, validovaná na 24/7. Rovnaký kremík ako Workstation Edition, rovnaký strop 600 W, iné chladenie. Voľte vtedy, keď: potrebujete rezervu na 70B+ na jednej karte, vyžaduje sa ECC, nasadzujete do racku so správnym prúdením vzduchu, v hre je aj trénovanie, alebo keď menej väčších kariet vyhráva nad viac menšími na priestore v racku a príkone.

RTX Pro 6000 Blackwell Max-Q — vysoká hustota bez prerábania elektriny. Rovnakých 96 GB a 1.79 TB/s, strop na 300 W. Štyri karty Max-Q odoberú z GPU 1.2 kW; štyri Server Edition 2.4 kW. Výkonová strata za obmedzenie príkonu je reálna, ale menšia než pomer wattov — krivka výkon/W u Blackwellu je na hornom konci strmá, takže strop 300 W stojí 20–30 % priepustnosti pri inferencii, nie 50 %. Voľte vtedy, keď: prostredie je obmedzené príkonom, chcete 96 GB na kartu, hustota je dôležitejšia než špičková priepustnosť na kartu, alebo keď záleží na hlučnosti.

L40 — podniková inferenčná karta s ECC a históriou nasadení. Generácia Ada. Pomalšia než Blackwell v priepustnosti (0.86 vs 1.79 TB/s) aj v kapacite (48 vs 96 GB), s cenovkou SKU pre dátové centrá. Dôvodom na nákup je obstarávanie: plné ECC, validované ovládače, trvalých 300 W, viac než dva roky produkčného nasadenia. Pre prostredia, ktoré zakazujú spotrebiteľské karty (poisťovníctvo, štátna správa, niektoré regulované odvetvia), je to karta, ktorá splní podmienku. V čistom pomere výkon/€ prehráva s 5090. Voľte vtedy, keď: nákupná politika zakazuje spotrebiteľský hardvér, workload sa zmestí do 48 GB a príbeh spoľahlivosti 24/7 váži viac než výkon na euro.

L4 — edge inferencia, 1U, 72 W. Jediná karta v tomto zozname, ktorá sa bez problémov zmestí do 1U servera vedľa systémovej dosky, a jediná, ktorá beží na príkone notebooku. TDP 72 W, jednoslotová low-profile, pasívna, 24 GB GDDR6 ECC, 300 GB/s. Úzkym hrdlom je priepustnosť — jeden stream na 7B modeli dosiahne 35–45 tok/s, čo je „fajn“, nie „rýchlo“. Použitie je v rozširovaní do šírky: 8× L4 v 2U šasi na jednom EPYC hostiteľovi obslúži 8 súbežných 7B inferenčných streamov pri skromných celkových nákladoch (~€20k v kartách), odoberá menej než 700 W a zmestí sa do akéhokoľvek kancelárskeho okruhu. Voľte vtedy, keď: nasadzujete na edge, do 1U/2U, máte obmedzený príkon, model sa zmestí do 24 GB a metrikou je priepustnosť na watt.

Výkon na euro: tabuľka, ktorú by ste nemali ukazovať finančnému riaditeľovi

*Pre 70B INT4: čísla na kartu, keď sa model zmestí na jednu kartu; súhrnná priepustnosť jedného streamu, keď je potrebný tenzorový paralelizmus cez viac kariet, delená celkovou cenou kariet.

5090 je kráľom pomeru výkon/€ pri každej veľkosti modelu, do ktorej sa model zmestí. Karty Pro 6000 vyhrávajú na inej osi: modely triedy 70B na jednej karte odstraňujú latenciu a zložitosť tenzorového paralelizmu. L40 má v tejto tabuľke zďaleka najhorší pomer výkon/€ — stojí zhruba 3× viac než 5090 za ~50 % inferenčného výkonu. Jej hodnotou je súlad s pravidlami obstarávania a produkčná história generácie Ada, nie čistá ekonomika. L4 vyhráva na výkone za euro presne v rohu malých modelov a nízkeho príkonu, kde nemá konkurenciu.

Výkon na watt: tabuľka pre manažéra kolokácie

Max-Q vyhráva v tomto portfóliu pomer výkon/W a nie je to tesné. Strop 300 W na 96 GB Blackwelli drží kartu v efektívnej časti jej krivky a dostanete väčšinu priepustnosti Server Edition pri polovičnom odbere zo zásuvky. Pri kolokácii, kde sa príkon meria a platíte priebežne €0.18–€0.30 za kWh, ušetrí Max-Q oproti Server Edition za niekoľko rokov nasadenia reálne peniaze. Máme zákazníkov, ktorí prešli zo Server Edition na Max-Q práve preto, aby nemuseli modernizovať chladiacu jednotku budovy.

Poznámky k trénovaniu a fine-tuningu

Trénovanie nie je hlavným zameraním Kentina — väčšina zákazníkov kupuje inferenciu. Fine-tuning sa však objavuje všade a voľba pre trénovanie má iné obmedzenia. Plné trénovanie všetkých parametrov modelov nad 70B na tomto portfóliu nie je reálne; to si vyžaduje 8× H100/H200 SXM alebo prenajatý cloud, a my to tak povieme. LoRA fine-tuning 7B–32B beží pohodlne na 4× 5090 alebo 4× Pro 6000 BW Max-Q. QLoRA na 70B uprednostní 2× Pro 6000 BW (ktorúkoľvek edíciu) pred 4× 5090 s FSDP, pretože jedna karta na jednu repliku modelu je dramaticky jednoduchšia. Rozhodovacie pravidlo: ak trénovanie beží viac než 24 hodín a bez dozoru, ECC je dôležité — voľte Pro 6000 alebo L40. Do 24 hodín s človekom pri stroji je 5090 v poriadku a na euro rýchlejšia.

Vision-language modely a otázka Pro 6000 vs H100

VLM menia výpočet, pretože stopa aktivácií je väčšia a prefill (kódovanie obrazu) je viac viazaný na výpočtový výkon. Pri Qwen2.5-VL 72B INT4 (~46 GB) dodá Pro 6000 BW 18–24 tok/s na jednej karte s prefillom ~1.4 s; 2× 5090 v tenzorovom paralelizme dodajú 12–18 tok/s s réžiou TP 20–40 ms na token. Pre on-prem inferenciu v robotike je Pro 6000 BW poctivejšia voľba, pretože Qwen2.5-VL 72B je model, ktorý ľudia naozaj chcú spúšťať, a jedna karta odstraňuje réžiu TP. Pre autolabelingové pipeline a hromadný prevod obrázkov na text, kde na latencii nezáleží, stále vyhrávajú 4× 5090 na pomere výkon/€.

Poctivé porovnanie: Pro 6000 BW vs H100

H100 nepredávame. O tomto kompromise budeme konkrétni, pretože sa zákazníci pýtajú.

Na jednu kartu poráža H100 SXM (80 GB HBM3, 3.35 TB/s) kartu Pro 6000 BW Server (96 GB GDDR7 ECC, 1.79 TB/s) v inferencii jedného streamu limitovanej priepustnosťou zhruba 1.5–1.9× — teda 60 tok/s oproti 31 tok/s na Llama 3.3 70B INT4. H100 má navyše NVLink a mezanínový konektor SXM5, ktorý v 8-GPU uzle HGX prináša prepoj medzi GPU s 900 GB/s. Pro 6000 BW má PCIe 5.0 x16 (~63 GB/s efektívne), čo je pri prenose medzi kartami asi 14× pomalšie.

Pri inferencii modelov, ktoré sa zmestia do 96 GB na jednej karte, je tento rozdiel neviditeľný — žiadna prevádzka medzi kartami neexistuje. Pri inferencii modelov, ktoré treba rozdeliť medzi 4× alebo 8× kariet, vyhráva H100 s NVLinkom o 30–50 % v súhrnnej priepustnosti, pretože tenzorový paralelizmus je citlivý na prepoj. Pri trénovaní cez 8 kariet vyhráva H100 jednoznačne.

Cenový rozdiel je 3–3.5× na kartu a 8–12× na použiteľný uzol (HGX H100 zahŕňa nosnú dosku a NVSwitche). Pri väčšine workloadov mimo hyperscale sa taký pomer nevyplatí. Tam, kde sa vyplatí, zákazník nenakupuje od Kentina — nakupuje priamo od Dellu, Lenova alebo Supermicra v obchodoch za osemciferné sumy. Povieme to aj do telefónu.

Čo nepovieme: že Pro 6000 Blackwell je „taká dobrá ako“ alebo „konkurencieschopná voči“ H100. Nie je, v metrikách, na ktorých mala H100 vyhrávať už od návrhu. Je však správnou kartou pre použitia, kde 96 GB ECC pri 1.79 TB/s rieši skutočný problém zákazníka — čo je väčšina prípadov.

Rozhodovací postup

Vetva, ktorá končí na „4× RTX 5090“, je najčastejšia zostava, akú dodávame. Vetva končiaca na „4× Pro 6000 BW Server“ je druhá. Vetvy L4 a Max-Q majú menší objem, ale ani jedna nie je okrajová — každý kvartál dodávame viackusové obchody do kancelárskych nasadení, kde by 600 W karty neprežili elektroinštaláciu budovy.

Čo nedržíme na sklade

Povedané priamo: Kentino nepredáva H100 SXM, H200 SXM, A100 SXM, B200 ani hardvér triedy GB200 NVL. Form factor SXM5 a ekosystém nosných dosiek HGX/NVL žijú v úrovni dodávateľského reťazca, v ktorej nie sme. Varianty H100 v PCIe existovali krátko a z kanála sú v podstate preč. Ak Váš workload naozaj vyžaduje 8× H100 s NVLinkom, Vaše poctivé možnosti v máji 2026 sú: prenájom od hyperscalera alebo špecializovaného cloudu, nákup priamo od Dellu / Lenova / Supermicra s dodacou lehotou 12–20 týždňov, alebo spolupráca s integrátorom na tejto úrovni.

Neskladujeme ani AMD Instinct MI300X či MI325X — na papieri sú silné pre inferenciu limitovanú pamäťou (192 GB HBM3, 5.3 TB/s pri MI300X), ale zrelosť softvéru ROCm a dostupnosť v kanáli v Česku nie sú tam, kde je dnes naša zákaznícka základňa.

Kam analýza vedie u typických kupujúcich

• Výskumné laboratórium, prvý inferenčný server: 4× RTX 5090 na EPYC Turin so 192 GB RAM, dva ATX zdroje, 4U rackové šasi. Zvládne každý model do 70B INT4 cez TP, s rezervou na fine-tuning.
• Startup prevádzkujúci produkčnú inferenciu: 4× Pro 6000 BW Server v 4U s hostiteľom EPYC Genoa/Turin, 384–512 GB RAM, zdroj CRPS s redundanciou 1+1. ECC, bez obrazových výstupov, rezerva na 70B+ na jednej karte.
• Robotické laboratórium + on-prem výpočty: 4× Pro 6000 BW Server. Tých 96 GB Vám umožní hostovať Qwen2.5-VL 72B spolu s LLM a ECC je dôležité, pretože výstup inferencie riadi fyzický hardvér.
• Podnikové obstarávanie nakupujúce kvôli compliance: 4× alebo 8× L40 v šasi Supermicro. Horší pomer výkon/€, ale každý riadok kusovníka prejde auditom.
• Pobočka, maloobchod, edge: 4× alebo 8× L4 v 1U/2U. Kancelárske napájanie, bez špeciálneho HVAC.
• Rozšírenie existujúcej flotily 4090: viac kusov 4090, ak je rozpočet záväzný a dokážete ich zohnať; inak primiešajte 5090 (vLLM zvláda TP naprieč generáciami prijateľne; nemiešajte 4090 s Pro 6000 — rozdiel v priepustnosti pokazí efekt, keď rozhoduje najpomalšia karta).

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy uvítame na info@kentino.com.