Koszt miliona tokenów: on-prem vs chmura

W 2026 roku istnieją trzy uczciwe sposoby kupowania inferencji LLM: wywoływać cudzy hostowany endpoint i płacić za tokeny (API LLM w chmurze), wynajmować GPU na godziny i uruchamiać własny model (wynajem GPU w chmurze) albo kupić serwer i uruchomić go we własnej szafie rack (on-prem). Cena miliona tokenów wygląda w każdym z tych trzech wariantów dramatycznie inaczej — i to nie w kolejności, której spodziewa się większość kupujących.

W tym artykule przeliczamy wszystko w EUR bez VAT. Odbiorca: osoba decydująca, czy nadal płacić OpenAI co miesiąc, przejść na hostowanego dostawcę modeli otwartych, wynająć H100, czy kupić maszynę z 4 lub 8 GPU. Podajemy ceny z maja 2026 i kończymy pięciominutową ścieżką decyzyjną. Odsyłacze: T01 TCO na GPU, W07 dobór kart, I04 liczby po stronie zasilania.

Trzy platformy

API LLM w chmurze. OpenAI, Anthropic, Google, Together, Fireworks. Płatność za token wejściowy i wyjściowy. Brak kosztu bezczynności, brak capeksu, brak utrzymania. Ale też brak wyboru modelu poza katalogiem dostawcy, brak LoRA, brak kontroli nad kwantyzacją.

Wynajem GPU w chmurze. AWS p5/p5e/p6, Azure ND H200/B200, GCP A3 Ultra oraz chmury wyspecjalizowane (Lambda, CoreWeave, Nebius, RunPod). Wynajmuje się instancję z GPU na godziny i uruchamia, co się chce. Model, stos serwujący i utrzymanie są po stronie klienta. Płaci się niezależnie od tego, czy w danej godzinie obsłużono jeden token, czy miliard.

On-prem. Zakup maszyny z 4 lub 8 GPU. Montaż w szafie — we własnym budynku albo w kolokacji. Zasilanie, chłodzenie, sieć i utrzymanie są po stronie klienta. Amortyzacja przez trzy lata. Kosztem krańcowym tokena jest energia elektryczna. Kosztem stałym jest wszystko, co zostało już zapłacone.

Trzy różne kształty kosztu — czysto zmienny, czysto stały z progiem oraz capex plus koszt krańcowy — które przecinają się w różnych punktach na osi przepustowości.

Cennik API LLM w chmurze

USD za milion tokenów, publiczne cenniki, maj 2026. EUR przy kursie EUR/USD ≈ 1.08.

Dwa uczciwe wnioski. Zamknięte modele z czołówki (Claude Opus 4.7, GPT-5, Gemini 2.5 Pro) są o rząd wielkości droższe niż hostowane API modeli otwartych serwujące Llamę 70B czy DeepSeek-V3 — to cena za „najmądrzejszy w tej chwili” wobec „najlepsze otwarte wagi w tej chwili”. Dla większości obciążeń produkcyjnych (RAG, kroki agentowe, kod, klasyfikacja) punktem pracy jest Sonnet 4.6 albo GPT-5 mini, a nie model flagowy. Tokeny wyjściowe kosztują u dostawców zamkniętych od trzech do siedmiu razy więcej niż wejściowe, a u hostów modeli otwartych mniej więcej tyle samo. SKU modeli otwartych u hiperskalerów (Bedrock, Azure) są o 30–80% droższe niż Together czy Fireworks za ten sam model — płaci się za integrację z IAM i jedną fakturę, a nie za tańsze tokeny.

Koszt on-prem za Mtok

Koszt za Mtok to trzyletni koszt całkowity podzielony przez liczbę tokenów obsłużonych w ciągu trzech lat. Mianownik zależy od wykorzystania, licznik jest zasadniczo stały.

On-prem €/Mtok =
    (capex + 3y electricity + 3y maintenance + 3y ops) /
    (sustained tok/s × utilization × 3 × 8,760 × 3,600 / 1e6)

Po podstawieniu TCO na GPU z T01 przy 60% wykorzystania, €0.20/kWh i PUE 1.4:

Przy spadku wykorzystania do 30% każda z tych liczb się podwaja. Przy 80% model 8B serwowany na L4 schodzi do €0.09/Mtok, taniej niż jakiekolwiek API chmurowe w tej klasie. Poniżej 25% wykorzystania rachunek się załamuje, bo w TCO dominuje capex zapłacony niezależnie od tego, czy sprzęt pracował.

Punkt opłacalności

Nałóżmy na to linię chmury. Llama 70B przy 100 mln tokenów miesięcznie, w proporcji 50/50, u Together: 100 × €0.81 = €81 miesięcznie → €2,916 przez trzy lata. Wobec on-prem z 4× 5090 za €27,000 Together wygrywa o €24,000. Przy 100 mln tokenów miesięcznie on-prem jest kompletnie nietrafiony.

Przy 1 mld tokenów miesięcznie: 1,000 × €0.81 = €810 miesięcznie → €29,160 przez trzy lata. Together i 4× 5090 mieszczą się w granicach €2,000. Przy 1.5 mld miesięcznie on-prem wygrywa już wyraźnie.

Punkt opłacalności dla inferencji klasy 70B wobec najtańszego hostowanego API modelu otwartego wypada w okolicach 1.0–1.5 mld tokenów miesięcznie utrzymywanych stabilnie na 4× 5090. Dla zamkniętych API z czołówki (Claude Sonnet 4.6 przy €8.34/Mtok mieszanych, GPT-5 przy €5.21/Mtok mieszanych) punkt ten przesuwa się do 80–150 mln tokenów miesięcznie — linia chmury jest o rząd wielkości bardziej stroma.

To najważniejsza liczba w tym artykule: punkt opłacalności to nie „100 mln tokenów miesięcznie na wszystko”. Zależy od konkretnego obciążenia i całkowicie od tego, z którą linią chmury się konkuruje. Kupujący, którzy mówią „dobiliśmy do 50 mln, pora na on-prem”, zwykle porównują się z Claude Opus — i wtedy mają rację, pomijając jednak, że przeniesienie obciążenia z Opusa na Sonnet 4.6 oszczędza przy tym wolumenie pięć razy więcej niż przejście z Sonneta na on-prem.

Wynajem GPU w chmurze — opcja pośrednia

Stawki godzinowe za GPU, maj 2026, on-demand:

Rezerwacja na rok obniża stawkę o 25–35%. AWS p5 on-demand jest mniej więcej 3× droższy niż Lambda za ten sam krzem H100. W przeliczeniu na token: 8× H100 u Lambdy z Llamą 3.3 70B FP8 przy ~3,500 tok/s stabilnie → $16/godz. × 8,760 × 3 = €389,000 przez 3 lata → €1.96/Mtok przy 60% wykorzystania. To 4× więcej niż konfiguracja on-prem 8× Pro 6000 SE (€0.53/Mtok) i 2.5× więcej niż zwykłe wywoływanie Together (€0.81/Mtok).

Wynajmowanie H100 do serwowania inferencji na modelach otwartych to najgorsze z obu światów: stawki najmu za maszynę plus własne utrzymanie. Rachunek wychodzi tylko wtedy, gdy potrzebny jest konkretny model, którego nikt nie hostuje, a wolumen nie uzasadnia on-prem. Wynajem GPU w chmurze ma jedno uczciwe zastosowanie: trening w trybie burst. Dostrajanie LoRA na 8× H100 przez 8 godzin kosztuje u Lambdy ~$130. Żadne TCO on-prem tego nie przebije przy jednorazowym zadaniu. Ta logika nie przenosi się na inferencję, która jest ciągła i działa 24/7. Pułapka „spota”: instancje spot/preemptible/community dają 50–80% rabatu, ale mogą zostać przerwane. To w porządku dla bezstanowych replik inferencji. Przy 18-godzinnym treningu zapisującym checkpoint co krok dwa przerwania podwajają koszt na ukończony krok i przewaga nad on-demand znika.

Koszty ukryte, których nikt nie podaje

Chmura: transfer wychodzący po $0.05–0.09/GB uderza przy odsyłaniu obrazów, audio czy wideo. Logowanie dokłada przy skali 5–10%. Najgorszy jest ponownie naliczany kontekst — każde API nalicza pełny prompt przy każdym wywołaniu, więc kontekst agenta o długości 50 tys. tokenów kosztuje 50 tys. tokenów wejściowych na każdy krok dwudziestokrokowej pętli. Cache'owanie promptów (obsługiwane przez Anthropic, OpenAI i Google) tnie to o 50–90% na buforowanych prefiksach, ale tylko przy odpowiedniej architekturze. Produkcyjne limity zapytań zaczynają się od 30–500 tys. TPM i wymagają historii użycia; nowy klient nie uruchomi się od pierwszego dnia w pełnej skali. SKU w regionach UE są o 10–20% droższe niż US East i mają niższą dostępność.

On-prem: czas utrzymania na poziomie 0.1–0.3 etatu na serwer to €8–24 tys. rocznie, których nie ma w rachunku na Mtok. Przestoje wymagają nadmiarowej maszyny albo łagodnego przełączenia do chmury. Energia elektryczna nie kosztuje wszędzie €0.20/kWh — przemysłowe stawki w UE w 2026 wahają się od €0.09/kWh (Szwecja, norweska hydroenergetyka) do €0.35/kWh (Włochy, Irlandia), w Niemczech €0.18–€0.22/kWh przy subsydiowanej taryfie przemysłowej, w Czechach €0.18–€0.25/kWh na otwartym rynku komercyjnym. Dla Włoch czy Irlandii każdy wiersz dotyczący energii w T01 rośnie o 50%. Szafa w kolokacji to €100–€300 miesięcznie za 4U — €3,600–€10,800 przez trzy lata ponad koszt sprzętu.

Publikowana cena chmury to mniej więcej 1.2–1.5× rzeczywistego rachunku; publikowane TCO on-prem to mniej więcej 1.2–1.5× ceny katalogowej. W porównaniu mnożniki się znoszą.

Czynniki pozakosztowe

Trzy rzeczy przeważają u realnych kupujących nad kosztem za Mtok.

Suwerenność danych. Najważniejszym powodem, dla którego europejscy nabywcy wybierają w 2026 on-prem, jest RODO oraz regulacje sektorowe (DORA, NIS2, AI Act, MDR). Wysyłanie produkcyjnych promptów z danymi osobowymi, dokumentacją medyczną czy tajemnicami przemysłowymi do endpointu hostowanego w USA jest problemem kontraktowym niezależnie od ceny. SKU w regionie UE nie oznacza kontroli unijnej. Dla podmiotu regulowanego dopłata za on-prem nie jest kosztem, lecz ceną prawnej możliwości wdrożenia.

Minimalne opóźnienie. WAN do najbliższego hostowanego endpointu dokłada 15–40 ms RTT wewnątrz UE i 80–120 ms przez Atlantyk. On-prem w sieci LAN 10 GbE to poniżej milisekundy. W interaktywnym czacie różnica przez WAN jest niewidoczna przy 800 ms TTFT. Dla pętli sterowania robotem (I01) czy agenta głosowego poniżej 300 ms WAN jest zabójczy.

Możliwość dostosowania. API chmurowe dostarczają model i kwantyzację wybrane przez dostawcę. W on-prem wybiera się model, kwantyzację, stos serwujący (vLLM, SGLang, llama.cpp), adaptery LoRA, dekoder spekulatywny. Dla laboratoriów badawczych czy wyspecjalizowanych produktów to właśnie jest przedmiotem zakupu — koszt za Mtok schodzi na drugi plan.

Jeśli żaden z tych czynników nie występuje, poniżej punktu opłacalności miejsce kupującego jest w chmurze. Nie każdy klient powinien kupować serwer.

Przykład decyzji: obciążenie klasy 70B przy dwóch wolumenach

Profil klienta: SaaS zajmujący się klasyfikacją i streszczaniem dokumentów, proporcja wejście/wyjście 70/30, model klasy 70B o otwartych wagach.

Przy 100 mln tokenów miesięcznie Bedrock wygrywa z on-prem o rząd wielkości; klient jeszcze nie zapracował na własną maszynę. Przy 2 mld tokenów miesięcznie on-prem wygrywa zdecydowanie, 1.8–2.2× nawet wobec najtańszej alternatywy hostowanej. Punkt opłacalności dla tego obciążenia wypadł w okolicach 800 mln – 1.2 mld tokenów miesięcznie. Poniżej — wynajem. Powyżej — własny sprzęt.

Macierz decyzyjna

Zestawienie jest konserwatywne — podmiot regulowany przesuwa kolumnę on-prem o wiersz wcześniej, a kupujący eksperymentujący o wiersz później. Kolumna czołówki jest szczególna: żadna konfiguracja on-prem nie zastąpi Claude Opus 4.7 ani GPT-5. To SKU jakościowe, po które sięga się w razie potrzeby, a nie obciążenia, które się hostuje.

Uczciwa konkluzja

Większość zainteresowanych, którzy przychodzą z przekonaniem, że potrzebują serwera, wcale go nie potrzebuje. Przy typowych wolumenach — 5–50 mln tokenów miesięcznie dla wczesnego produktu, 50–500 mln na średnim etapie — API w chmurze wygrywają jeszcze przez kolejne dwanaście do dwudziestu czterech miesięcy. Właściwa odpowiedź brzmi: „proszę korzystać z Together albo Bedrock, obserwować miesięczne wydatki i odezwać się do nas, gdy stabilnie przekroczą €1,500 miesięcznie”.

Kupujący, dla których on-prem ma w 2026 sens, mieszczą się w trzech profilach. Regulowani: dane nie mogą opuścić budynku. Stabilna skala: ponad 1 mld tokenów miesięcznie na modelu klasy 70B, gdzie rachunek wygrywa 2–3×. Robotyka lub niskie opóźnienia: narzut WAN przekreśla zastosowanie. Jeden z tych profili pasuje do około 30–40% naszych klientów. Dla pozostałych 60–70% API w chmurze są w 2026 znakomitym produktem i powinni z nich korzystać, dopóki rachunek się nie zmieni.

Trening to osobna rozmowa. Niemal każde obciążenie w skali Kentino AI (LoRA, QLoRA, dostrajanie modeli 7B–32B) wychodzi taniej on-prem niż przy wynajmie GPU w chmurze — maszyna pracuje przez cały czas trwania zadania. Wyjątkiem jest trening w hiperskali (pełny pretraining modeli 70B+, RLHF na dużą skalę), gdzie potrzebne jest 8× H100 z NVLink, czego nie sprzedajemy (W07 wyjaśnia dlaczego). Wynająć, przeliczyć, przywieźć wagi do siebie.

---

To część Kentino Wiki, serii referencyjnej o mocy obliczeniowej AI, robotyce i systemach, które je łączą. Komentarze i sprostowania mile widziane pod adresem info@kentino.com.