Zbudowaliśmy serwer AI z 576 GB, który uruchamia GLM 5.2 w Państwa własnym budynku

Serwer AI Kentino stawiany u klienta mieści sześć kart NVIDIA RTX PRO 6000 Blackwell Max-Q, dwa procesory EPYC i tyle redundancji, że przetrwa wyrwanie zasilacza — dzięki czemu modele klasy frontier działają u Państwa, a nie w cudzej chmurze.

One Miners znają wszyscy. Teraz czas na Kentino.

Jeśli od dłuższego czasu obracają się Państwo w naszym świecie, znają Państwo One Miners. Kentino to spółka siostrzana, która buduje maszyny: serwery AI, stacje robocze, komputery do gier — mniej więcej wszystko, co odpowiada specyfikacji, jaką mają Państwo w głowie.

Ten artykuł dotyczy jednej z takich konstrukcji. To system złożony przez nas dla klienta, więc nie zdradzamy, do kogo trafia. Możemy natomiast zdjąć pokrywę i pokazać dokładnie, co wchodzi w skład serwera AI stawianego u klienta, gdy przestaje się iść na kompromisy.

Założenie: AI klasy Claude, które nigdy nie opuszcza budynku

Sens tej maszyny jest prosty. Dostają Państwo asystenta w tej samej klasie co Claude Opus czy GPT — i działa on w Państwa siedzibie. W biurze, w serwerowni, w domu, jeśli to tam Państwo pracują. Każdy prompt, każdy dokument i każda wklejona linia kodu zostaje w Państwa własnej sieci.

Taka jest oferta: żadnego rachunku za tokeny rosnącego wraz z użytecznością narzędzia, żadnej kolejki za innymi najemcami i żadnej trzeciej strony trzymającej Państwa okno kontekstu. Sprzęt należy do Państwa, więc obciążenie również.

W środku: sześć profesjonalnych GPU po 96 GB

Po otwarciu obudowy pierwsze, co widać, to ściana GPU — trzy karty z jednej strony, trzy kolejne z drugiej. Każda to NVIDIA RTX PRO 6000 Blackwell Max-Q z 96 GB VRAM. Sześć kart, czyli około 576 GB pamięci graficznej w jednej obudowie.

Ta konfiguracja ma sześć kart, ale obudowa nie jest pełna. Mieści do ośmiu, co pozostawia miejsce na dodanie kolejnych GPU później albo na wykorzystanie slotów do czegoś zupełnie innego, na przykład sieci światłowodowej. Za płytą GPU siedzą dwa procesory AMD EPYC 7643, które je zasilają danymi.

Najmniej efektowne elementy są tymi, które mają znaczenie

Taka maszyna stoi lub upada na nudnych parametrach. Pamięć: 512 GB DDR4 w postaci 8x 64 GB LRDIMM, z możliwością rozbudowy do 1.5 TB, gdy obciążenie tego zażąda. Pamięć masowa: dysk systemowy 2 TB plus 4 TB NVMe, bo wagi modelu muszą schodzić z dysku szybko.

Zasilanie to pięć redundantnych zasilaczy 2000 W. Można wyjąć jeden w trakcie pracy, a serwer działa dalej — wyraźnie da znać swoje niezadowolenie, ale działa. Chłodzenie to dwanaście wysokociśnieniowych wentylatorów 15,000 RPM, wymiennych podczas pracy, ustawionych w rzędach w poprzek obudowy. Martwy wentylator można wyrwać pod obciążeniem, wstawić nowy, zamknąć obudowę i odejść. Maszyna przez kilka sekund wrzeszczy. To cała procedura serwisowa.

Płyta główna ma dedykowane zdalne zarządzanie, podwójny LAN 10 Gigabit, zintegrowane VGA do terminala, USB 3.2 oraz zarówno główny, jak i zapasowy przycisk zasilania, żeby do restartu nie trzeba było niczego wyciągać z szafy.

GLM 5.2 uruchomiony lokalnie

Głównym obciążeniem jest GLM 5.2 w Q4 — około 341 GB wag modelu rezydujących na sześciu GPU. To naprawdę duży model, a mieszka w Państwa budynku. Działają tu także inne otwarte modele; VRAM z zapasem wystarcza, by trzymać kilka załadowanych naraz albo przełączać się między nimi.

Zimny start nie jest natychmiastowy i wolimy o tym uprzedzić, niż pozwolić to odkryć samodzielnie. Między wyliczaniem tylu podzespołów przez BIOS, podnoszeniem bardzo dużego drzewa urządzeń przez Linuksa i przesyłaniem 341 GB z SSD do VRAM na pierwszy token czeka się rzędu kilku minut. Gdy maszyna jest rozgrzana, nie ma jednej liczby przepustowości, a kto ją podaje, omija pytanie. Zależy to od trzech rzeczy: ile żądań jest w locie, czy włączone jest dekodowanie spekulatywne i czy model mieści się na jednej karcie.

Dla GLM 5.2 rozdzielonego na wszystkie sześć GPU: czyste dekodowanie przy jednym żądaniu, bez dekodowania spekulatywnego, to mniej więcej 25–40 tokenów/s — tak wychodzi z wyliczeń i taka liczba widnieje na naszej publicznej stronie produktu. Po włączeniu dekodowania spekulatywnego, wciąż przy jednym żądaniu naraz, jest to 40–60. Taki tryb widać na filmie i dlatego przebieg przed kamerą ląduje na około 42 tokenach/s. Dołożenie współbieżności do dekodowania spekulatywnego daje na tej samej maszynie 60–120.

To wszystko są liczby dla dużego modelu, z 341 GB rozłożonymi na sześć kart. Przy modelu mieszczącym się w pojedynczym GPU 96 GB wchodzimy w tysiące tokenów na sekundę łącznie, bo pracuje wtedy sześć niezależnych instancji zamiast jednej rozdzielonej. Ten sam sprzęt, różnica rzędu wielkości — i właśnie dlatego jedna nagłówkowa liczba nic nie znaczy.

Poza czatem i kodem ten sam krzem to poważna maszyna do generowania obrazów, poradzi sobie też z pracą nad wideo. Praktyczna różnica wobec endpointu w chmurze to nie tylko szybkość — to fakt, że nikt nie stoi przed Państwem w kolejce.

Dlaczego Max-Q i ile naprawdę kosztuje ten kompromis

Jeden szczegół, o którym warto powiedzieć wprost: to warianty Max-Q karty RTX PRO 6000. Max-Q pracuje przy mocy płyty 300 W. Karta inna niż Max-Q to konstrukcja 600 W, którą można ograniczyć w sterowniku do około 400 W.

Max-Q oddaje trochę pamięci podręcznej na układzie w zamian za znacznie niższy pobór mocy. W obudowie z sześcioma kartami właśnie dzięki temu budżet cieplny i energetyczny w ogóle się spina. To decyzja, którą podejmuje się raz, na etapie budowy, a potem żyje się z nią w zgodzie — pod warunkiem, że było się jej świadomym.

Co dalej — i jak zamówić taką maszynę

Na stole podczas tego nagrania leżało jeszcze kilka rzeczy, które nie należą do tego serwera. RTX 4090 oraz NVIDIA CMP 170HX — karta do kopania z czasów Ethereum, wystawiona u nas za 1,600 €. Ta karta dostanie porządną recenzję i porządne testy w kolejnym materiale wideo, więc nie będziemy jej tu tłumaczyć na pół gwizdka.

Przygotowujemy też prawdziwą tabelę benchmarków dla kilku otwartych modeli. Liczby, metodologia, bez owijania w bawełnę. To również w kolejnym materiale.

Jeśli chcieliby Państwo maszynę taką jak ta — albo jej mniejszą wersję, stację roboczą czy komputer do gier — właśnie tym zajmuje się Kentino. Zapraszamy do przejrzenia kolekcji serwerów AI albo do napisania nam, czego Państwo potrzebują — przygotujemy specyfikację.