Tokeny na sekundę za euro: ekonomia GPU w inferencji

Większość kupujących zadaje złe pytanie. Chcą wiedzieć, który układ GPU jest „najszybszy”. Właściwe pytanie przy produkcyjnym obciążeniu inferencyjnym brzmi: „który GPU wygeneruje najwięcej tokenów na każde wydane euro w ciągu najbliższych trzech lat dla modelu, który faktycznie obsługuję”. Te dwa pytania mają różne odpowiedzi, a różnica jest na tyle duża, że wybór według surowej szybkości regularnie kosztuje klientów Kentino 30–60% budżetu.

Ten artykuł przelicza to na liczby. Adresatem jest osoba dobierająca konfigurację serwera inferencyjnego, która przeczytała W01 oraz N03, a teraz musi zdecydować pomiędzy RTX 5090, RTX Pro 6000 Blackwell, L40 a L4 — oraz ustalić, ile sztuk.

Miara: dlaczego tok/s na euro, a nie tok/s

Liczą się dwa reżimy wydajności, a ich mylenie to najczęstszy błąd przy doborze sprzętu.

Tok/s w pojedynczym strumieniu to wartość, którą widzi jeden użytkownik czekający na jedną odpowiedź. Przy generowaniu tokenów ogranicza ją przepustowość pamięci i jest niemal wyłącznie funkcją przepustowości VRAM podzielonej przez rozmiar wag modelu (zob. W01). Tok/s przepustowości ciągłej to wartość, jaką serwer wypracowuje dla wielu równoczesnych użytkowników przy włączonym batchowaniu ciągłym. Na sprzęcie klasy Blackwell powyżej batcha 16 ogranicza ją moc obliczeniowa. To właśnie liczy się w produkcji.

Obie wartości różnią się 10–25× na tej samej karcie. Pojedynczy strumień Llama 70B INT4 na RTX Pro 6000 Blackwell to około 32 tok/s. Ta sama karta przy batchu 32 z batchowaniem ciągłym vLLM osiąga ponad 600 tok/s łącznie. Dobór według pojedynczego strumienia zaniża wdrożenia przepustowościowe o rząd wielkości; dobór według przepustowości przewymiarowuje wdrożenia wrażliwe na opóźnienia. Rachunek TCO opiera się tutaj na przepustowości ciągłej, bo to ona dominuje w kosztach.

Aktualne ceny detaliczne w UE (maj 2026)

Poniższe ceny to detal w UE, bez VAT, w kanale otwartym — nie kontrakty wolumenowe OEM ani wynajem w chmurze. Źródłem są unijne porównywarki cen i cenniki dystrybutorów z maja 2026. Należy je traktować jako przedziały; wahania rzędu 10–20% z kwartału na kwartał są normalne.

Już z samej tej tabeli płyną dwa wnioski. Pro 6000 Server Edition kosztuje mniej więcej 3× tyle co 5090 przy 3× większym VRAM i równoważnej przepustowości — cena idzie za pojemnością pamięci, a nie za surową szybkością. L4 to jedyna karta poniżej 100 W. Sam ten fakt zmienia obraz TCO, gdy do równania wchodzi prąd.

Wyniki benchmarków na pojedynczym GPU

Poniższe liczby pochodzą z publicznych benchmarków (vLLM, llama.cpp, SGLang) zebranych ze Spheron, CloudRift, RunPod oraz z przebiegów opublikowanych przez sam projekt vLLM, od maja 2025 do maja 2026. Nie są to pomiary Kentino — zweryfikowaliśmy je na naszych wewnętrznych maszynach 4×5090 i 4×Pro 6000 dla konfiguracji, które obsługujemy regularnie; dane publiczne mieszczą się w granicach ±15%.

Llama 3.3 70B FP8 — dekodowanie w pojedynczym strumieniu

Llama 3.3 70B INT4 (AWQ) — dekodowanie w pojedynczym strumieniu

Qwen 2.5 32B INT4 (AWQ) — pojedynczy strumień

Llama 3 8B FP16 — pojedynczy strumień i łącznie

Kilka uczciwych wniosków z tych tabel. 5090 i Pro 6000 Blackwell mają identyczną przepustowość (1.79 TB/s) i identyczne tempo dekodowania na token — różnice to pojemność VRAM i ECC, a nie szybkość. L40 wypada w inferencji mniej więcej o połowę wolniej od tej pary Blackwell, ponieważ GDDR6 ECC daje 860 GB/s wobec 1,790 GB/s. L4 ma ćwierć tej przepustowości; nadrabia gęstością i ceną.

W pracy jednostrumieniowej z modelami klasy 70B Pro 6000 Blackwell to jedyna karta, która uruchomi model w FP8 w jednym slocie. 5090 wymusza INT4 i dwudrożny tensor parallel — a TP=2 na PCIe traci 30–35% na operacji all-reduce (zob. N03).

Skalowanie wielu GPU: podatek PCIe

Tensor parallel wyłącznie po PCIe nie skaluje się liniowo. Mechanizm omówiliśmy w N03; poniżej empiryczne mnożniki, które warto wstawić do modelu TCO.

Ścieżki pipeline-parallel i data-parallel skalują się niemal liniowo; tensor-parallel płaci podatek rosnący wraz z liczbą GPU. Dla modelu klasy 70B właściwą konfiguracją na 8× 5090 są dwie niezależne repliki (DP=2 × TP=4) albo TP=4 × PP=2 — a nie TP=8. Zob. K03 , gdzie opisano reguły konfiguracji.

Ma to znaczenie kosztowe, ponieważ podwojenie liczby GPU nigdy nie podwaja przepustowości. Naiwna prognoza budżetu w stylu „dwa razy więcej GPU, dwa razy więcej tok/s” obiecuje o 30–50% za dużo.

Model TCO na trzy lata

Cena katalogowa GPU to mniej więcej połowa rzeczywistego kosztu utrzymania karty inferencyjnej przez trzy lata. Druga połowa to prąd, udział w obudowie i powierzchnia. Poniższy model stosujemy wewnętrznie przy doborze konfiguracji Kentino AI.

TCO na 3 lata w przeliczeniu na GPU =
    koszt GPU
  + udział w obudowie (obudowa + CPU + RAM + zasilacz + karta sieciowa) / liczba GPU
  + prąd:  TDP × wykorzystanie × 8,760 h × 3 × €0.20/kWh
  + udział w powierzchni kolokacji/racka
  + serwis & części zamienne (~5% kosztu GPU / rok)

Przyjęte założenia:

• Prąd: €0.20/kWh średnio (typowo dla przemysłowej kolokacji w UE lub własnego centrum danych). W czeskim segmencie biznesowym to często €0.18–€0.22; w Niemczech więcej.
• Wykorzystanie: 60% w trybie ciągłym (realistyczne obciążenie produkcyjne — nie 100% jak w benchmarku ani 5% jak w laboratorium).
• PUE: 1.4. Narzut centrum danych (chłodzenie, straty dystrybucji). Podnosi to efektywny koszt prądu do 0.28 €/kWh poboru GPU.
• Udział w obudowie: €4,000 rozłożone na 4 GPU (€1,000/GPU) przy konfiguracji Kentino 4-GPU z 5090; €8,000 na 8 (€1,000/GPU) przy obudowie 8-GPU z Pro 6000.
• Serwis: 5% rocznie kosztu GPU (fundusz na kartę zapasową + czas na sterowniki i utrzymanie).

Tabela TCO w przeliczeniu na GPU

Wiersze z prądem: TDP × 0.60 × 8,760 × 3 × 0.20 × 1.4 (PUE) / 1,000. Wiersz L4 robi wrażenie — rachunek za prąd przy pracy ciągłej przez trzy lata wynosi €318. Dla 5090 to €2,540. Ośmiokrotnie większy pobór, ośmiokrotnie wyższy rachunek.

Koszt miliona tokenów

Teraz łączymy TCO ze zmierzoną przepustowością ciągłą na reprezentatywnym obciążeniu — Llama 3.3 70B INT4 przy batchu 32, Qwen 32B przy batchu 32 albo Llama 8B przy batchu 64. Przepustowość karty w tok/s mnożymy przez 0.60 wykorzystania × 3 × 8,760 × 3,600, aby otrzymać łączną liczbę obsłużonych tokenów, a następnie dzielimy przez nią TCO. Poniższe liczby mają charakter poglądowy; należy je dostosować do własnego modelu i batcha.

Trzecią kolumnę należy czytać jako koszt miliona obsłużonych tokenów przy pełnym TCO. Open-router i API chmurowe liczą za te same modele €0.10–€2.00 za milion tokenów, zależnie od poziomu usługi; rozwiązanie on-premise plasuje się więc w tym samym przedziale lub taniej przy stałym obciążeniu. Rachunek przestaje się spinać poniżej 30% wykorzystania — w TCO dominuje wtedy capex poniesiony niezależnie od tego, czy sprzęt pracował.

Argumenty za 5090

Na papierze 5090 ma najlepszy surowy wskaźnik tok/s na euro spośród kart w ofercie Kentino dla inferencji modeli poniżej 72B. €2,800 za 1.79 TB/s przepustowości i 32 GB GDDR7 to bardzo dużo karty. Przy obsłudze jednego użytkownika i modelu klasy 32B nic innego nie zbliża się do tej relacji.

5090 zawodzi w dwóch miejscach:

1. Modele, które nie mieszczą się w 32 GB przy oczekiwanej kwantyzacji. Model 70B w FP8 (~75 GB) wymaga 3–4 kart; 70B w INT4 (~40 GB) — dwóch. Gdy tensor parallel przechodzi przez PCIe, płaci się 30–50% podatku na all-reduce, a wynik tok/s na kartę się załamuje.
2. Skalowanie wielu GPU poza pipeline parallel. 8× 5090 to realny produkt (budujemy go), ale przepustowość na kartę przy modelu 70B w tensor parallel to około 0.55× wyniku pojedynczej karty. Kupuje się osiem kart, a otrzymuje 4.4× przepustowości. Nie 8×.

Siłą 5090 jest hostowanie wielu replik mniejszych modeli. 4× 5090 z czterema niezależnymi replikami Qwen 32B za load balancerem bije 4× 5090 obsługujące jeden model Llama 70B w tensor parallel — i pod względem przepustowości, i opóźnień — a przy tym całkowicie omija karę PCIe.

Argumenty za Pro 6000 Blackwell

96 GB ECC GDDR7 przy 1.79 TB/s kupuje się wtedy, gdy model 70B w FP8 ma się zmieścić na jednej karcie i nie ma ochoty na spory z PCIe. Wersje Workstation i Server Edition mają ten sam układ, tę samą pamięć i tę samą przepustowość — różni je format (chłodzenie aktywne wobec pasywnego), BIOS z wyższym limitem mocy oraz walidacja dla serwerowych obudów OEM. Server Edition kosztuje €700–€1,500 więcej i jest właściwym wyborem do każdej konfiguracji rackowej pracującej 24/7.

Gdzie Pro 6000 wygrywa w tok/s na euro:

• Hosting 70B w FP8 na jednej karcie. Bez tensor parallel, bez podatku PCIe. Ponad 30 tok/s w pojedynczym strumieniu, ponad 480 tok/s łącznie przy batchowaniu.
• Skalowanie przez repliki. 4× Pro 6000 = cztery niezależne repliki 70B za routerem. Liniowe skalowanie przepustowości i łagodna izolacja awarii.
• ECC do trenowania. Jeśli obciążenie obejmuje dostrajanie LoRA / QLoRA albo pełne przetrenowanie, ECC się zwraca (zob. W01).

Gdzie Pro 6000 to przesada: każde wdrożenie, które nie potrzebuje >32 GB na kartę. Jeśli wszystkie modele mieszczą się na 5090, płaci się 3× więcej za VRAM, który nie zostanie wykorzystany. Widzimy to regularnie — kupujący wybiera Pro 6000, bo to karta „profesjonalna”, a potem uruchamia na niej model 13B.

Argumenty za L40

L40 zajmuje niewygodną pozycję. 48 GB ECC, GDDR6 zamiast GDDR7, przepustowość 860 GB/s — w inferencji mniej więcej połowa Pro 6000 Blackwell, przy 75–90% jego ceny. W czystym przeliczeniu tok/s na euro w inferencji wygrywa Pro 6000.

Argumenty za L40 opierają się na trzech innych osiach:

1. TDP. 300 W wobec 600 W. Połowa kosztu prądu w ciągu trzech lat (€1,325 wobec €2,650 w naszym modelu). W szafach ograniczonych termicznie lub na obwodach jednofazowych decyduje to o tym, czy zmieszczą się cztery karty, czy dwie.
2. Walidacja do centrum danych. L40 ma chłodzenie pasywne, walidację OEM u Supermicro/Dell/HPE oraz standardową pięcioletnią ścieżkę gwarancji dla centrów danych. Pro 6000 Workstation nie ma walidacji do pracy 24/7 w obudowie serwerowej; Server Edition ma, ale jest w kanale sprzedaży nowszy.
3. Pułap niezawodności. L40 zaprojektowano z myślą o ciągłym obciążeniu serwerowym. Średni czas między awariami przy inferencji 24/7 jest wymiernie lepszy niż w wywodzącym się z rynku konsumenckiego 5090.

Uczciwa ocena: jeśli dla klienta dostępność liczy się bardziej niż surowe tok/s — branże regulowane, kontrakty SLA z dyżurem, wszystko, co traci pieniądze, gdy karta padnie w środku nocy — L40 jest wart gorszego wyniku tok/s na euro. W czystej relacji ceny do wydajności już nie.

Argumenty za L4

L4 to karta, o którą nikt nie pyta, a którą powinna kupić większość klientów. 24 GB, 72 W, pojedynczy slot, bez dodatkowego złącza zasilania, chłodzenie pasywne. Osiem sztuk mieści się w serwerze 1U. Szesnaście w 2U.

W czym L4 jest dobra:

• Obsługa modeli klasy 8B na dużą skalę. Llama 3 8B FP8 przy batchu 64 daje około 650 tok/s na kartę. Osiem kart L4 w jednej obudowie to 5,000 tok/s łącznie dla endpointu Llama 8B. Przy poborze 600 W po stronie GPU.
• Gęstość wielu replik. Każda L4 obsługuje niezależny model 8B. Osiem replik za load balancerem, zupełnie bez komunikacji między GPU. Awaria jednej karty zabiera 1/8 mocy, a nie całą usługę.
• Lokalizacje z ograniczoną mocą. Obwód 16 A uciągnie dwanaście kart L4 wraz z narzutem hosta. Ten sam obwód ledwo wystarczy na trzy karty 5090.
• Koszt miliona tokenów. Przy €0.12/Mtok dla 8B FP8 L4 jest tańsza niż jakiekolwiek API chmurowe dla tej samej klasy modeli.

W czym L4 wypada słabo: wszystko powyżej 13B, wszystko, co wymaga realnej przepustowości, i trenowanie w dowolnej postaci. L4 to wyspecjalizowana karta inferencyjna do modeli małych i średnich. Jeśli obciążenie się w tym nie mieści, lepiej ją pominąć.

Uczciwe porównanie z chmurą

Rachunek chmurowy dla porównywalnej konfiguracji. AWS p5.48xlarge (8× H100 SXM) kosztuje w cenniku on-demand $98.32/godz., czyli $12.29 za godzinę pracy jednego GPU. Wyspecjalizowane chmury AI (Lambda, RunPod, CoreWeave) liczą $2.00–$4.00 za godzinę H100 on-demand, a mniej przy zobowiązaniu rocznym.

Trzyletni koszt chmury on-demand dla jednego slotu inferencyjnego odpowiadającego H100:

• AWS on-demand: $12.29 × 8,760 × 3 = $323,000
• Chmura AI spot/rabatowana: $2.50 × 8,760 × 3 = $65,700
• Chmura AI zarezerwowana na rok: ~$1.80 × 8,760 × 3 = $47,300

Kentino on-premise, 8× Pro 6000 Server Edition: TCO ~€115,000 przez trzy lata dla ośmiu kart. Na kartę €14,400. To mniej więcej jedna czwarta najtańszej zarezerwowanej chmury z H100 przy porównywalnej przepustowości inferencji (Pro 6000 BW osiąga ~60–70% wyniku H100 SXM w obciążeniach niezależnych od NVLink).

Próg opłacalności wobec zarezerwowanego H100 w chmurze AI: maszyna on-premise z 8× Pro 6000 zwraca się przy mniej więcej 50% stałego wykorzystania w ciągu trzech lat. Poniżej tego progu lepiej wynajmować, powyżej — mieć na własność. Do tego samego rachunku dochodzi każdy poważny nabywca sprzętu on-premise i dlatego inferencja na własnym sprzęcie nie umarła w 2026 roku mimo obniżek cen w chmurze.

Macierz rekomendacji GPU według obciążenia

Uczciwa ocena

Większość klientów Kentino zaczyna od pytania, która karta jest najszybsza. Dla obciążenia, które naprawdę mają — model czatowy 7B lub 8B, może model rozumujący 32B, może model wizyjny klasy 7B–13B — właściwą odpowiedzią jest L4 albo 5090, a nie flagowiec. Dopłata do Pro 6000 Blackwell w naszym cenniku to €5,000–€7,000 na kartę. Przy czterech kartach w konfiguracji daje to €20,000–€28,000 za VRAM, który klient opłaca i z którego nie korzysta.

Zadaniem jest zapytać, jakie modele, przy jakiej liczbie równoczesnych sesji i przy jakim oknie kontekstu — i na tej podstawie dobrać sprzęt. Mniejsze zamówienie, ale klient wróci, gdy będzie skalował.

---

To część Kentino Wiki — serii referencyjnej o mocy obliczeniowej AI, robotyce i systemach, które je łączą. Uwagi i sprostowania prosimy kierować na info@kentino.com.