Dobór GPU do obciążeń AI: 5090, 4090, RTX Pro 6000, L40 i L4 w starciu

W 2026 roku nie istnieje uniwersalnie właściwa karta GPU do zadań AI. Istnieje karta właściwa dla zdefiniowanego obciążenia, zdefiniowanego budżetu mocy i zdefiniowanego budżetu finansowego — a niewłaściwa karta we właściwej obudowie jest droższą pomyłką niż właściwa karta w niewłaściwej obudowie. W tym artykule zestawiamy ofertę Kentino kartę po karcie, z rzeczywistymi wynikami wydajności, uczciwie opisanymi kompromisami i ścieżką decyzyjną, której faktycznie używamy w rozmowach z klientami. Nie udajemy przy tym, że H100 i A100 nie istnieją; istnieją, my ich nie sprzedajemy i powiemy wprost, kiedy ta różnica ma znaczenie.

Karty, o których mowa:

• RTX 5090 — 32 GB GDDR7, 1.79 TB/s, 575 W, segment konsumencki.
• RTX 4090 — 24 GB GDDR6X, 1.01 TB/s, 450 W, segment konsumencki, poprzednia generacja.
• RTX Pro 6000 Blackwell Server Edition — 96 GB GDDR7 ECC, 600 W, chłodzenie pasywne, serwerowy format, bez wyjść wideo.
• RTX Pro 6000 Blackwell Max-Q — 96 GB GDDR7 ECC, 300 W, dwuslotowa turbina, to samo krzemowe serce co w wersji Workstation.
• L40 — 48 GB GDDR6 ECC, 0.86 TB/s, 300 W, format centrum danych, pełne ECC.
• L4 — 24 GB GDDR6, 0.30 TB/s, 72 W, jednoslotowa niskoprofilowa, inferencja na brzegu sieci.

Parametry, które naprawdę mają znaczenie

Specyfikacje kart GPU są gęste, a większość liczb nie zmienia decyzji zakupowej. Trzy z nich ją zmieniają.

1. Pojemność VRAM. To kwestia zero-jedynkowa. Albo model się mieści, albo nie. Odciążanie do pamięci CPU nie jest sensownym zamiennikiem (opisujemy to w W01).
2. Przepustowość VRAM. Generowanie tokenów w transformerze jest ograniczone przepustowością pamięci. Katalogowe TFLOPS są przy inferencji w dużej mierze nieistotne.
3. Moc ciągła i format karty. Karta 600 W w obudowie, która nie odprowadzi ciepła, jest kartą 300 W z alarmem termicznym. Karta 72 W w serwerze 1U to zupełnie inna maszyna niż karta 575 W w stacji roboczej 4U.

Inferencja: tokeny na sekundę według modelu i karty

Generowanie tokenów w pojedynczym strumieniu to w przybliżeniu przepustowość podzielona przez rozmiar modelu i pomnożona przez współczynnik sprawności stosu 0.6–0.8. Poniższa tabela zawiera wyniki, które zmierzyliśmy na stanowiskach testowych z vLLM 0.6+ i aktualną wersją llama.cpp na II kwartał 2026. INT4, o ile nie zaznaczono inaczej. Najpierw przepustowość pojedynczego strumienia; w nawiasach wynik zbiorczy przy przetwarzaniu wsadowym, tam gdzie dało się go zmierzyć.

Kilka uczciwych zastrzeżeń. To typowe wartości dla prawidłowo chłodzonej obudowy, przy modelu w całości rezydującym w pamięci karty. Czas do pierwszego tokenu przy zimnym cache zależy głównie od alokacji cache KV i obliczeń prefill, a nie od przepustowości, i mieści się w zakresie 200–900 ms dla wszystkich tych kart. Przepustowość wsadowa skaluje się podliniowo powyżej 8–16 równoległych strumieni z powodu rywalizacji o moc obliczeniową. Jeżeli aplikacja jest interaktywna (czat, agent krok po kroku), ważniejszy jest pojedynczy strumień. Jeżeli jest wsadowa (przetwarzanie dokumentów, automatyczne etykietowanie), ważniejsza jest praca wsadowa.

Blok budulcowy 4× 5090 nie bez powodu jest koniem roboczym naszej oferty: same karty kosztują €8,500–€14,000, cztery GPU mieszczą się w obudowie 4U przy rozsądnym przepływie powietrza i dają ~12,000 tok/s łącznie na Llama 3.3 70B INT4 w vLLM z równoległością tensorową. Pojedyncza karta Pro 6000 Blackwell za €8,500 daje ~30 tok/s w pojedynczym strumieniu i ~90 tok/s wsadowo na tym samym modelu. Dla maszyny serwującej wielu użytkowników wygrywają karty 5090. Dla jednego użytkownika z długim kontekstem i modelami powyżej 64 GB wygrywa Pro 6000. Uniwersalnej odpowiedzi nie ma.

Gdzie która karta naprawdę ma sens

RTX 5090 — król wydajności na euro, ale z ostrymi krawędziami. Właściwy wybór, gdy obciążeniem jest inferencja, budżet jest realny, lecz nie nieograniczony, a wdrożenie toleruje dwa znane ograniczenia: brak ECC oraz konsumenckie skoki poboru mocy, które wymagają uwagi przy doborze zasilacza i obudowy (zob. W04). Dla modeli 13B i 32B karta 5090 jest szybsza w przeliczeniu na euro niż cokolwiek innego w tym zestawieniu. Dla klasy 70B cztery karty 5090 w równoległości tensorowej dają wyższą łączną przepustowość niż pojedyncza Pro 6000 Blackwell, przy niższych nakładach. Minusy: 575 W nominalnie przy skokach powyżej 600 W oraz pułap 32 GB na kartę, który przy modelach 32B+ z długim kontekstem wymusza konfigurację wielokartową. Warto wybrać, gdy: inferencja 24/7 dla modeli 7B–32B, liczy się wydajność na euro, rack zapewnia przepływ powietrza, a ECC nie jest twardym wymogiem zgodności. Lepiej unikać, gdy: ECC jest obowiązkowe, potrzebna jest obsługa 70B+ na jednej karcie albo pomieszczenie nie odprowadzi 2.4 kW ciepła.

RTX 4090 — wyłącznie tani wariant schodzący. W 2026 roku to zakup taktyczny. Nowych egzemplarzy w detalu prawie nie ma; karty używane i resztki kanałowe kosztują €1,400–€1,900. Na kartę ok. 55% wydajności 5090 w inferencji ograniczonej pamięcią (1.01 wobec 1.79 TB/s) oraz 24 GB wobec 32 GB — te 8 GB ma znaczenie, bo model 32B INT4 zostawia na 5090 więcej miejsca na cache KV. Nadal ma sens przy rozbudowie istniejącej floty 4090 przy ograniczonym budżecie inwestycyjnym. Budują Państwo od zera? Wtedy 5090.

RTX Pro 6000 Blackwell Server Edition — król pojemności VRAM do poważnych zadań. 96 GB ECC GDDR7 przy 1.79 TB/s zmienia zakres modeli, które da się hostować. Pojedyncza karta mieści Qwen2.5-VL 72B INT4 z wygodnym cache KV dla ~20 równoległych strumieni. Cztery karty w jednym węźle mieszczą Llama 3.1 405B INT4 w jednej obudowie, bez sieci między węzłami. Chłodzenie pasywne, projekt pod przepływ powietrza przód-tył w racku, brak wyjść wideo, walidacja do pracy 24/7. To samo krzemowe serce co w wersji Workstation, ten sam limit 600 W, inne chłodzenie. Warto wybrać, gdy: potrzebny zapas na 70B+ na jednej karcie, wymagane ECC, wdrożenie w racku z właściwym przepływem powietrza, w grze jest również trenowanie albo mniej większych kart wygrywa z większą liczbą mniejszych pod względem miejsca w racku i mocy.

RTX Pro 6000 Blackwell Max-Q — wysoka gęstość bez przebudowy instalacji. Te same 96 GB i 1.79 TB/s, ograniczone do 300 W. Cztery karty Max-Q pobierają z GPU 1.2 kW; cztery Server Edition pobierają 2.4 kW. Spadek wydajności wynikający z limitu mocy jest realny, ale mniejszy niż proporcja watów — krzywa wydajności na wat w Blackwellu jest stroma na górze, więc ograniczenie do 300 W kosztuje 20–30% przepustowości w inferencji, a nie 50%. Warto wybrać, gdy: środowisko jest ograniczone mocą, potrzebne jest 96 GB na kartę, gęstość liczy się bardziej niż szczytowa wydajność pojedynczej karty albo znaczenie ma akustyka.

L40 — korporacyjna karta inferencyjna z ECC i historią wdrożeń. Generacja Ada. Wolniejsza od Blackwella pod względem przepustowości (0.86 wobec 1.79 TB/s) i pojemności (48 wobec 96 GB), wyceniona jak SKU dla centrum danych. Powodem zakupu są procedury zakupowe: pełne ECC, walidowane sterowniki, stałe 300 W, ponad dwa lata wdrożeń produkcyjnych. W środowiskach, w których karty konsumenckie są zabronione (ubezpieczenia, administracja, część regulowanych branż), to właśnie ta karta spełnia wymóg formalny. Pod względem czystej wydajności na euro przegrywa z 5090. Warto wybrać, gdy: polityka zakupowa zabrania sprzętu konsumenckiego, obciążenie mieści się w 48 GB, a niezawodność 24/7 liczy się bardziej niż wydajność na euro.

L4 — inferencja na brzegu sieci, 1U, 72 W. Jedyna karta z tej listy, która bez problemów mieści się w serwerze 1U obok płyty systemowej, i jedyna działająca w budżecie mocy laptopa. TDP 72 W, jeden slot, niski profil, chłodzenie pasywne, 24 GB GDDR6 ECC, 300 GB/s. Wąskim gardłem jest przepustowość — pojedynczy strumień modelu 7B to 35–45 tok/s, czyli „wystarczająco”, a nie „szybko”. Zastosowaniem jest zwielokrotnienie: 8× L4 w obudowie 2U na jednym hoście EPYC daje 8 równoległych strumieni inferencji 7B przy umiarkowanym koszcie (~€20k w samych kartach), pobiera poniżej 700 W i mieści się w dowolnym obwodzie biurowym. Warto wybrać, gdy: wdrożenie na brzegu sieci, 1U/2U, ograniczona moc, model mieści się w 24 GB, a metryką jest przepustowość na wat.

Wydajność na euro: tabela, której lepiej nie pokazywać dyrektorowi finansowemu

*Dla 70B INT4: wartości na kartę, gdy model mieści się na jednej karcie; łączna przepustowość pojedynczego strumienia, gdy konieczna jest równoległość tensorowa na wielu kartach, podzielona przez łączny koszt kart.

Karta 5090 jest królem wydajności na euro przy każdym rozmiarze modelu, który się na niej mieści. Karty Pro 6000 wygrywają na innej osi: model klasy 70B na jednej karcie eliminuje opóźnienia i złożoność wynikające z równoległości tensorowej. L40 ma w tej tabeli zdecydowanie najgorszą wydajność na euro — kosztuje mniej więcej 3× tyle co 5090 przy ~50% jej wydajności w inferencji. Jej wartością jest zgodność z procedurami zakupowymi i produkcyjna historia generacji Ada, a nie czysta ekonomia. L4 wygrywa pod względem wydajności na euro dokładnie tam, gdzie spotykają się mały model i niski pobór mocy, bo w tym narożniku nie ma konkurencji.

Wydajność na wat: tabela dla kierownika kolokacji

Max-Q wygrywa w tym zestawieniu pod względem wydajności na wat, i to bez zbliżonej konkurencji. Ograniczenie 96-gigabajtowego Blackwella do 300 W utrzymuje kartę w efektywnej części krzywej, a otrzymują Państwo większość przepustowości wersji Server Edition przy połowie poboru z gniazda. W kolokacji, gdzie moc jest rozliczana licznikiem, a stawka wynosi €0.18–€0.30 za kWh w trybie ciągłym, Max-Q oszczędza realne pieniądze przez cały wieloletni okres wdrożenia w porównaniu z wersją Server Edition. Mamy klientów, którzy przeszli z Server Edition na Max-Q właśnie po to, by uniknąć modernizacji instalacji chłodniczej w budynku.

Trenowanie i dostrajanie — uwagi

Trenowanie nie jest głównym obszarem Kentino — większość klientów kupuje sprzęt pod inferencję. Dostrajanie pojawia się jednak wszędzie, a wybór sprzętu pod trenowanie rządzi się innymi ograniczeniami. Pełne trenowanie modeli 70B+ nie jest na tej ofercie wykonalne; wymaga 8× H100/H200 SXM albo wynajętej chmury, i mówimy to wprost. Dostrajanie LoRA modeli 7B–32B działa komfortowo na 4× 5090 lub 4× Pro 6000 BW Max-Q. QLoRA modelu 70B woli 2× Pro 6000 BW (dowolna wersja) od 4× 5090 z FSDP, ponieważ jedna karta na replikę modelu jest nieporównanie prostsza. Reguła decyzyjna: jeżeli przebiegi trenowania trwają ponad 24 godziny i odbywają się bez nadzoru, ECC ma znaczenie — wtedy Pro 6000 albo L40. Poniżej 24 godzin i z człowiekiem przy maszynie 5090 jest w porządku i szybsza w przeliczeniu na euro.

Modele wizyjno-językowe oraz kwestia Pro 6000 wobec H100

Modele VLM zmieniają rachunek, bo ślad aktywacji jest większy, a prefill (kodowanie obrazu) mocniej obciąża jednostki obliczeniowe. Dla Qwen2.5-VL 72B INT4 (~46 GB) Pro 6000 BW daje 18–24 tok/s na pojedynczej karcie przy prefillu ~1.4 s; 2× 5090 w równoległości tensorowej dają 12–18 tok/s przy narzucie 20–40 ms na token. Dla inferencji on-premise w robotyce uczciwszym wyborem jest Pro 6000 BW, bo Qwen2.5-VL 72B to model, który ludzie faktycznie chcą uruchamiać, a jedna karta eliminuje narzut równoległości tensorowej. Dla potoków automatycznego etykietowania i masowej zamiany obrazu na tekst, gdzie opóźnienie nie ma znaczenia, 4× 5090 nadal wygrywa pod względem wydajności na euro.

Uczciwe porównanie: Pro 6000 BW wobec H100

Nie sprzedajemy H100. Opiszemy ten kompromis precyzyjnie, bo klienci o to pytają.

Na pojedynczą kartę H100 SXM (80 GB HBM3, 3.35 TB/s) bije Pro 6000 BW Server (96 GB GDDR7 ECC, 1.79 TB/s) w inferencji jednostrumieniowej ograniczonej przepustowością mniej więcej 1.5–1.9× — czyli 60 tok/s wobec 31 tok/s na Llama 3.3 70B INT4. H100 ma też NVLink i złącze mezzanine SXM5, co daje 900 GB/s w komunikacji GPU-GPU w ośmiokartowym węźle HGX. Pro 6000 BW dysponuje PCIe 5.0 x16 (~63 GB/s efektywnie), czyli około 14× wolniej dla ruchu między kartami.

Przy inferencji modeli mieszczących się w 96 GB na jednej karcie ta różnica jest niewidoczna — nie ma ruchu między kartami. Przy inferencji modeli, które trzeba rozdzielić na 4 lub 8 kart, H100 z NVLinkiem wygrywa o 30–50% łącznej przepustowości, bo równoległość tensorowa jest wrażliwa na interkonekt. Przy trenowaniu na ośmiu kartach H100 wygrywa zdecydowanie.

Różnica w cenie to 3–3.5× na kartę i 8–12× na użyteczny węzeł (HGX H100 obejmuje płytę nośną i przełączniki NVSwitch). Dla większości zastosowań spoza hiperskali ta proporcja się nie broni. Tam, gdzie się broni, klient i tak nie kupuje w Kentino — kupuje bezpośrednio u Della, Lenovo albo Supermicro w kontraktach ośmiocyfrowych. To również mówimy wprost przez telefon.

Czego nie powiemy: że Pro 6000 Blackwell jest „tak dobra jak” albo „konkurencyjna wobec” H100. Nie jest, w metrykach, pod które H100 projektowano. Jest natomiast właściwą kartą tam, gdzie 96 GB ECC przy 1.79 TB/s rozwiązuje realny problem klienta — a tak jest w większości przypadków.

Ścieżka decyzyjna

Gałąź kończąca się na „4× RTX 5090” to najczęściej wysyłana przez nas konfiguracja. Druga w kolejności jest gałąź „4× Pro 6000 BW Server”. Gałęzie L4 i Max-Q mają mniejszy wolumen, ale żadna z nich nie jest niszą — w każdym kwartale wysyłamy wielosztukowe zamówienia do wdrożeń biurowych, w których karty 600 W nie przetrwałyby instalacji elektrycznej budynku.

Czego nie mamy w ofercie

Mówiąc wprost: Kentino nie sprzedaje sprzętu klasy H100 SXM, H200 SXM, A100 SXM, B200 ani GB200 NVL. Format SXM5 i ekosystem płyt nośnych HGX/NVL należą do warstwy łańcucha dostaw, w której nas nie ma. Warianty PCIe H100 istniały przez krótki czas i praktycznie zniknęły z kanału. Jeżeli obciążenie rzeczywiście wymaga 8× H100 z NVLinkiem, uczciwe opcje w maju 2026 są trzy: wynajem u hiperskalera lub w wyspecjalizowanej chmurze, zakup bezpośrednio u Della / Lenovo / Supermicro z terminem 12–20 tygodni albo współpraca z integratorem tej klasy.

Nie mamy też w ofercie AMD Instinct MI300X ani MI325X — na papierze mocnych w inferencji ograniczonej pamięcią (192 GB HBM3, 5.3 TB/s w MI300X) — ale dojrzałość oprogramowania ROCm i dostępność w kanale w Czechach nie odpowiadają dziś potrzebom naszej bazy klientów.

Wnioski dla typowych nabywców

• Laboratorium badawcze, pierwszy serwer inferencyjny: 4× RTX 5090 na EPYC Turin ze 192 GB RAM, dwoma zasilaczami ATX, w obudowie rack 4U. Uruchomi każdy model do 70B INT4 w TP, z zapasem na dostrajanie.
• Startup serwujący inferencję produkcyjną: 4× Pro 6000 BW Server w 4U z hostem EPYC Genoa/Turin, 384–512 GB RAM, zasilacze CRPS z redundancją 1+1. ECC, brak wyjść wideo, zapas na 70B+ na jednej karcie.
• Laboratorium robotyki i obliczenia on-premise: 4× Pro 6000 BW Server. Te 96 GB pozwala hostować jednocześnie Qwen2.5-VL 72B i model LLM, a ECC ma znaczenie, bo wynik inferencji steruje fizycznym sprzętem.
• Zakupy korporacyjne pod kątem zgodności: 4× lub 8× L40 w obudowie Supermicro. Gorsza wydajność na euro, ale każda pozycja zestawienia materiałowego przechodzi audyt.
• Oddział, handel detaliczny, brzeg sieci: 4× lub 8× L4 w 1U/2U. Zasilanie biurowe, bez specjalnej klimatyzacji.
• Rozbudowa istniejącej floty 4090: kolejne 4090, jeśli budżet jest wiążący i da się je zdobyć; w przeciwnym razie dołożenie 5090 (vLLM radzi sobie z TP na mieszanych generacjach w akceptowalnym stopniu; nie należy mieszać 4090 z Pro 6000 — różnica przepustowości niweczy efekt, w którym decyduje najsłabsza karta).

---

To część Kentino Wiki, serii referencyjnej o obliczeniach AI, robotyce i systemach, które je łączą. Uwagi i sprostowania prosimy kierować na adres info@kentino.com.