GLM-5.3-Flash na CMP 170HX — sprievodca dimenzovaním

---

Prečítajte si to pred číslami. Každý údaj o tokenoch za sekundu, každé minimum RAM a každé „zmestí sa / nezmestí sa“ na tejto stránke je vypočítané z pamäťovej priepustnosti, nie namerané. Zverejňujeme to preto, že výpočet je užitočný pri výbere komponentov a že to zrejme nikto iný nespísal. Nahradíme ho reálnymi číslami, hneď ako model odskúšame — benchmark je naplánovaný na 8-kanálovom stroji s 512 GB a zatiaľ neprebehol. Počítajte s dolnou hranicou každého rozsahu.

GLM-5.3-Flash beží na jednej alebo dvoch odomknutých kartách CMP 170HX 64 GB, keď zvyšok modelu sedí v systémovej RAM. S dvoma kartami a 128 GB RAM by mal bežať v dobrej kvalite; množstvo a rýchlosť systémovej pamäte rozhodujú o tom, ako rýchlo odpovedá. Od štyroch kariet vyššie sa model v dobrej kvalite zmestí celý na karty a na systémovej RAM už nezáleží.

Čo sme skutočne namerali

Tieto hodnoty sú naše, z vlastného pracoviska a zo štvorkartového systému, ktorý sme uviedli do prevádzky v septembri 2026. Sú základom, na ktorom stoja odhady.

Všetko pod touto čiarou je modelovanie.

Ako to funguje

GLM-5.3-Flash je model typu mixture-of-experts: spolu 320 miliárd parametrov, no pre každé slovo sa použije len 18 miliárd. Karta drží tie časti, ktoré potrebuje každé slovo; zvyšok zostáva v systémovej RAM a odtiaľ sa čítajú len tí niekoľkí experti, ktorých si dané slovo vyberie.

Tieto počty parametrov aj rozloženie 288 expertov na vrstvu sú zverejnené čísla od Z.ai, prevzaté z karty modelu a z jej config.json. Nie je v našich silách ich overiť.

Vyberte si zostavu

Dve karty so 128 GB RAM sú zostava, na ktorú sa oplatí mieriť: dobrá kvalita odpovedí pri použiteľnej rýchlosti. Ďalšie dve predstavujú lacnejší začiatok a jednokartovú možnosť.

Token zodpovedá zhruba trom štvrtinám slova. 10 tokenov/s sa číta približne tak rýchlo, ako číta človek; 20+ pôsobí svižne.

Koľko systémovej RAM potrebujete

Potrebná RAM = tá časť modelu, ktorá sa nezmestí na karty + približne 16 GB pre operačný systém. Jedna karta ponechá na váhy modelu okolo 46 GB svojej pamäte; dve karty okolo 105 GB.

Najmenšia verzia (93 GB) sa na jednu kartu samostatne nezmestí, takže jednokartový systém vždy potrebuje veľkú zásobu RAM. Veľkosti súborov sú zverejnené veľkosti GGUF od unsloth, nie naše.

Očakávaná rýchlosť

Počet pamäťových kanálov je dôležitejší než model CPU. Druhá karta pomôže najviac na desktopových platformách, pretože presunie väčšiu časť modelu mimo pomalej RAM.

Viac kariet: 3 až 6

Od troch kariet vyššie sa celý model zmestí do pamäte kariet, takže systémová RAM už rýchlosť neobmedzuje.

• Viac kariet prináša kvalitu a priestor, nie rýchlosť na slovo. Karty pracujú jedna po druhej a súbor vyššej kvality načíta pre každé slovo viac dát, takže rýchlosť od štyroch kariet k šiestim mierne klesá.
• Štyri karty sú ideálnym bodom pre jedného používateľa: dobrá kvalita, približne 30 tokenov/s, bez potreby platformy s rýchlou RAM.
• Šesť kariet vyhovuje tímu. Zmestia sa oficiálne váhy FP8 a server vLLM by dokázal obslúžiť niekoľkých používateľov naraz. Priestor pre kontext je tesný, približne 37 GB, a podporu vLLM pre tento model je ešte potrebné overiť.
• Čo sa mení od troch kariet: doska pre workstation alebo server s jedným slotom ×16 na kartu (EPYC alebo Threadripper; sloty ×8 fungujú tiež, len načítanie je pomalšie), zdroj s rezervou približne 250 W na kartu plus 300 W (približne 1.3 kW pre štyri, 1.8–2 kW pre šesť) a skriňa s prúdením vzduchu ku každej karte.

Tieto odhady predpokladajú, že každá karta si na váhy modelu ponechá približne 58 GB a pri tomto modeli dosiahne okolo 35 % zo svojich 950 GB/s — pri podobných modeloch na kartách tejto generácie je to bežné, ale je to predpoklad, nie výsledok.

Kontrolný zoznam systému

Najčastejšie sa pokazia riadky s pamäťovými kanálmi, Above 4G decoding a chladením.

K linke PCIe: namerali sme stav linky (Gen2 ×16). Prenosovú priepustnosť na nej sme nebenchmarkovali. Linka Gen2 ×16 teoreticky končí okolo 8 GB/s a reálna prevádzka sa po réžii pohybuje bližšie k 6–7 GB/s — berte to ako odvodené zo špecifikácie, nie ako meranie.

Čo očakávať

• Dlhé prompty sa rozbiehajú pomaly. Načítanie dlhého dokumentu alebo rozsiahlej kódovej základne trvá sekundy až minúty, kým sa objaví prvé slovo, s jednou kartou dlhšie. Limitom je tu linka Gen2; rýchlosť odpovede to neovplyvní.
• Verzie s nižším počtom bitov strácajú kvalitu. UD-Q2_K_XL funguje, ale robí viac chýb než UD-Q4_K_XL. Na programovanie či uvažovanie zvoľte 4-bitovú verziu.
• Dlhý kontext je lacný. Väčšina vrstiev si drží stav s pevnou veľkosťou, takže dlhá konverzácia stojí len málo pamäte karty navyše.
• Nový model, mladá softvérová podpora. GLM-5.3-Flash používa nový návrh pozornosti. llama.cpp ho načíta, no niektoré časti môžu bežať menej efektívne, než by mohli; s aktualizáciami sa to zlepšuje.
• Kapacita 64 GB pochádza z upraveného ovládača. Po aktualizácii jadra karty spadnú späť na 8 GB, kým sa odomknutie znova nenainštaluje.
• Bez ECC. Karta chyby pamäte neopravuje ani nehlási, preto používajte karty, ktoré prešli úplným testom pamäte. Naše sa dodávajú s protokolom o overení pamäte pre každú kartu, ktorý nesie jej sériové číslo.

Odkiaľ pochádzajú čísla

Zdroje: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF

---

uvedený do prevádzky tu. Každá karta CMP 170HX, ktorú predávame, je otestovaná na plnej kapacite pamäte 64 GB a dodáva sa s protokolom, ktorý nesie jej vlastné sériové číslo. Ak chcete túto zostavu nadimenzovať na Váš skutočný workload, napíšte nám.*