GLM-5.3-Flash na CMP 170HX — poradnik doboru sprzętu

---

Prosimy przeczytać to przed liczbami. Każda wartość tokenów na sekundę, każde minimum pamięci RAM i każde „mieści się / nie mieści się” na tej stronie zostało wyliczone z przepustowości pamięci, a nie zmierzone. Publikujemy to, ponieważ taka arytmetyka pomaga w doborze podzespołów i ponieważ nikt inny najwyraźniej tego nie spisał. Zastąpimy te dane rzeczywistymi wynikami, gdy uruchomimy model — benchmark jest zaplanowany na maszynie 8-kanałowej z 512 GB RAM i jeszcze się nie odbył. Prosimy planować według dolnej granicy każdego zakresu.

GLM-5.3-Flash działa na jednej lub dwóch odblokowanych kartach CMP 170HX 64 GB, gdy reszta modelu znajduje się w pamięci RAM systemu. Przy dwóch kartach i 128 GB RAM powinien pracować w dobrej jakości; ilość i szybkość pamięci systemowej decydują o tym, jak szybko odpowiada. Od czterech kart wzwyż model w dobrej jakości mieści się w całości na kartach, a pamięć RAM przestaje mieć znaczenie.

Co faktycznie zmierzyliśmy

To nasze własne wyniki — z naszego stanowiska i z czterokartowego systemu uruchomionego we wrześniu 2026 roku. Stanowią one podstawę wszystkich szacunków.

Wszystko poniżej tej linii to modelowanie.

Jak to działa

GLM-5.3-Flash to model typu mixture-of-experts: łącznie 320 miliardów parametrów, ale dla każdego słowa używanych jest tylko 18 miliardów. Karta przechowuje części potrzebne przy każdym słowie; reszta pozostaje w pamięci RAM systemu, skąd odczytywanych jest tylko kilku ekspertów wybranych dla danego słowa.

Te liczby parametrów oraz układ 288 ekspertów na warstwę to dane opublikowane przez Z.ai, odczytane z karty modelu i jej pliku config.json. Nie jesteśmy w stanie ich zweryfikować.

Wybór konfiguracji

Dwie karty i 128 GB RAM to konfiguracja docelowa: dobra jakość odpowiedzi przy użytecznej szybkości. Pozostałe dwie to tańszy start oraz wariant jednokartowy.

Token to mniej więcej trzy czwarte słowa. 10 tokenów/s czyta się mniej więcej tak szybko, jak czyta człowiek; 20+ sprawia wrażenie szybkiego.

Ile pamięci RAM jest potrzebne

Potrzebny RAM = ta część modelu, która nie mieści się na kartach, + około 16 GB na system operacyjny. Jedna karta pozostawia około 46 GB swojej pamięci na wagi modelu; dwie karty — około 105 GB.

Najmniejsza wersja (93 GB) nie mieści się na jednej karcie, więc system jednokartowy zawsze potrzebuje dużej puli RAM. Rozmiary plików to rozmiary GGUF opublikowane przez unsloth, nie nasze.

Oczekiwana szybkość

Liczba kanałów pamięci ma większe znaczenie niż model procesora. Druga karta pomaga najbardziej na platformach desktopowych, ponieważ przenosi większą część modelu poza wolną pamięć RAM.

Więcej kart: od 3 do 6

Od trzech kart wzwyż cały model mieści się w pamięci kart, więc RAM systemowy przestaje ograniczać szybkość.

• Więcej kart kupuje jakość i zapas, a nie szybkość na słowo. Karty pracują jedna po drugiej, a plik o wyższej jakości wymaga odczytu większej ilości danych na każde słowo, więc przy przejściu z czterech kart na sześć szybkość nieznacznie spada.
• Cztery karty to optimum dla jednego użytkownika: dobra jakość, około 30 tokenów/s, bez potrzeby platformy z szybką pamięcią RAM.
• Sześć kart sprawdzi się w zespole. Oficjalne wagi FP8 mieszczą się, a serwer vLLM mógłby obsługiwać kilku użytkowników naraz. Miejsca na kontekst jest niewiele — około 37 GB — a obsługę tego modelu w vLLM trzeba jeszcze sprawdzić.
• Co zmienia się od trzech kart: płyta główna stacji roboczej lub serwera z jednym slotem ×16 na kartę (EPYC lub Threadripper; sloty ×8 również działają, wolniej przebiega jedynie ładowanie), zasilacz o mocy około 250 W na kartę plus 300 W (około 1.3 kW dla czterech, 1.8–2 kW dla sześciu) oraz obudowa z przepływem powietrza dla każdej karty.

Te szacunki zakładają, że każda karta zachowuje około 58 GB na wagi modelu i osiąga przy tym modelu około 35% swoich 950 GB/s — co jest typowe dla podobnych modeli na kartach tej generacji, ale pozostaje założeniem, a nie wynikiem.

Lista kontrolna systemu

Pozycje, które najczęściej sprawiają problemy, to kanały pamięci, Above 4G decoding oraz chłodzenie.

O łączu PCIe: zmierzyliśmy stan łącza (Gen2 ×16). Nie testowaliśmy na nim przepustowości transferu. Łącze Gen2 ×16 osiąga teoretycznie około 8 GB/s, a rzeczywisty ruch po uwzględnieniu narzutu to raczej 6–7 GB/s — należy to traktować jako wartość wyprowadzoną ze specyfikacji, a nie jako pomiar.

Czego się spodziewać

• Długie zapytania startują wolno. Odczytanie długiego dokumentu lub dużej bazy kodu zajmuje od kilku sekund do kilku minut, zanim pojawi się pierwsze słowo — przy jednej karcie dłużej. Ogranicza tu łącze Gen2; na szybkość odpowiedzi nie ma to wpływu.
• Wersje o niższej liczbie bitów tracą jakość. UD-Q2_K_XL działa, ale popełnia więcej błędów niż UD-Q4_K_XL. Do programowania i rozumowania lepiej wybrać wersję 4-bitową.
• Długi kontekst jest tani. Większość warstw utrzymuje stan o stałym rozmiarze, więc długa rozmowa kosztuje niewiele dodatkowej pamięci karty.
• Nowy model, młode wsparcie programowe. GLM-5.3-Flash korzysta z nowego mechanizmu uwagi. llama.cpp go ładuje, ale część operacji może działać mniej wydajnie, niż mogłaby; z kolejnymi aktualizacjami będzie lepiej.
• 64 GB pochodzi ze zmodyfikowanego sterownika. Po aktualizacji jądra karty wracają do 8 GB, dopóki odblokowanie nie zostanie zainstalowane ponownie.
• Brak ECC. Karta nie koryguje ani nie zgłasza błędów pamięci, dlatego warto używać kart, które przeszły pełny test pamięci. Nasze są dostarczane z raportem weryfikacji pamięci dla każdej karty, opatrzonym jej numerem seryjnym.

Skąd pochodzą liczby

Źródła: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF

---

zamówiony u nas. Każda karta CMP 170HX, którą sprzedajemy, jest testowana przy pełnej pojemności 64 GB i dostarczana z raportem opatrzonym własnym numerem seryjnym. Jeśli chcieliby Państwo dobrać taką konfigurację do rzeczywistego obciążenia, zapraszamy do kontaktu.*