GLM-5.3-Flash auf der CMP 170HX betreiben — ein Dimensionierungsleitfaden

---

Bitte vor den Zahlen lesen. Jeder Token-pro-Sekunde-Wert, jedes RAM-Minimum und jedes „passt / passt nicht“ auf dieser Seite ist aus der Speicherbandbreite berechnet, nicht gemessen. Wir veröffentlichen das, weil die Rechnung bei der Teileauswahl hilft und weil sie offenbar sonst niemand aufgeschrieben hat. Sobald wir das Modell selbst laufen lassen haben, ersetzen wir die Werte durch echte Messungen — der Benchmark ist auf einer 8-Kanal-Maschine mit 512 GB geplant und hat noch nicht stattgefunden. Rechnen Sie mit dem unteren Ende jeder Spanne.

GLM-5.3-Flash läuft auf einer oder zwei entsperrten CMP 170HX mit 64 GB, wenn der Rest des Modells im Arbeitsspeicher liegt. Mit zwei Karten und 128 GB RAM sollte es in guter Qualität laufen; wie schnell es antwortet, entscheiden Menge und Tempo des Arbeitsspeichers. Ab vier Karten passt das Modell in guter Qualität vollständig auf die Karten, und der Arbeitsspeicher spielt keine Rolle mehr.

Was wir tatsächlich gemessen haben

Diese Werte stammen von uns — von unserer eigenen Werkbank und von einem Vier-Karten-System, das wir im September 2026 in Betrieb genommen haben. Sie sind die Grundlage, auf der die Schätzungen aufbauen.

Alles unterhalb dieser Linie ist Modellrechnung.

So funktioniert es

GLM-5.3-Flash ist ein Mixture-of-Experts-Modell: 320 Milliarden Parameter insgesamt, aber nur 18 Milliarden werden je Wort genutzt. Die Karte hält die Teile, die jedes Wort braucht; der Rest bleibt im Arbeitsspeicher, und von dort werden nur die wenigen Experten gelesen, die ein Wort jeweils auswählt.

Diese Parameterzahlen und der Aufbau mit 288 Experten pro Layer sind von Z.ai veröffentlichte Angaben, entnommen aus der Model Card und ihrer config.json. Wir können sie nicht überprüfen.

Wählen Sie einen Aufbau

Zwei Karten mit 128 GB RAM sind der Aufbau, den man anstreben sollte: gute Antwortqualität bei brauchbarem Tempo. Die beiden anderen sind ein günstigerer Einstieg und eine Ein-Karten-Variante.

Ein Token entspricht ungefähr drei Vierteln eines Wortes. 10 Token/s liest sich etwa so schnell, wie ein Mensch liest; ab 20 wirkt es flott.

Wie viel Arbeitsspeicher Sie brauchen

Benötigter Arbeitsspeicher = der Teil des Modells, der nicht auf die Karten passt + etwa 16 GB für das Betriebssystem. Eine Karte lässt rund 46 GB ihres Speichers für Modellgewichte frei; zwei Karten rund 105 GB.

Die kleinste Version (93 GB) passt nicht auf eine einzelne Karte, deshalb braucht ein Ein-Karten-System immer einen großen RAM-Pool. Die Dateigrößen sind die von unsloth veröffentlichten GGUF-Größen, nicht unsere.

Erwartete Geschwindigkeit

Die Zahl der Speicherkanäle zählt mehr als das CPU-Modell. Eine zweite Karte hilft auf Desktop-Plattformen am meisten, weil sie einen größeren Teil des Modells aus dem langsamen Arbeitsspeicher holt.

Mehr Karten: 3 bis 6

Ab drei Karten passt das gesamte Modell in den Kartenspeicher, sodass der Arbeitsspeicher die Geschwindigkeit nicht mehr begrenzt.

• Mehr Karten bringen Qualität und Reserve, nicht Tempo pro Wort. Die Karten arbeiten nacheinander, und eine Datei höherer Qualität liest für jedes Wort mehr Daten — von vier auf sechs Karten sinkt die Geschwindigkeit daher leicht.
• Vier Karten sind der Sweet Spot für einen Nutzer: gute Qualität, etwa 30 Token/s, ohne dass eine schnelle RAM-Plattform nötig wäre.
• Sechs Karten eignen sich für ein Team. Die offiziellen FP8-Gewichte passen, und ein vLLM-Server könnte mehrere Nutzer gleichzeitig bedienen. Der Platz für Kontext ist mit etwa 37 GB knapp, und die vLLM-Unterstützung für dieses Modell muss noch geprüft werden.
• Was sich ab drei Karten ändert: ein Workstation- oder Server-Board mit einem ×16-Slot je Karte (EPYC oder Threadripper; ×8-Slots funktionieren ebenfalls, nur das Laden dauert länger), ein Netzteil mit etwa 250 W je Karte plus 300 W (rund 1.3 kW für vier, 1.8–2 kW für sechs) sowie ein Gehäuse mit Luftstrom für jede Karte.

Diese Schätzungen setzen voraus, dass jede Karte etwa 58 GB für Modellgewichte bereithält und bei diesem Modell rund 35% ihrer 950 GB/s erreicht — typisch für vergleichbare Modelle auf Karten dieser Generation, aber eine Annahme, kein Messergebnis.

System-Checkliste

Am häufigsten gehen die Punkte Speicherkanäle, Above 4G Decoding und Kühlung schief.

Zur PCIe-Anbindung: Wir haben den Link-Status gemessen (Gen2 ×16). Den Übertragungsdurchsatz darauf haben wir nicht gebenchmarkt. Eine Gen2-×16-Verbindung liegt theoretisch bei rund 8 GB/s, realer Verkehr landet nach Overhead eher bei 6–7 GB/s — betrachten Sie das als aus der Spezifikation abgeleitet, nicht als Messwert.

Was Sie erwartet

• Lange Prompts starten langsam. Das Einlesen eines langen Dokuments oder einer großen Codebasis dauert Sekunden bis Minuten, bis das erste Wort erscheint — mit einer Karte länger. Die Gen2-Anbindung ist hier die Grenze; die Antwortgeschwindigkeit ist davon nicht betroffen.
• Versionen mit weniger Bit verlieren Qualität. UD-Q2_K_XL funktioniert, macht aber mehr Fehler als UD-Q4_K_XL. Für Programmieren oder Schlussfolgern sollten Sie die 4-Bit-Version wählen.
• Langer Kontext ist günstig. Die meisten Layer halten einen Zustand fester Größe, daher kostet ein langes Gespräch kaum zusätzlichen Kartenspeicher.
• Neues Modell, junge Software-Unterstützung. GLM-5.3-Flash nutzt ein neues Attention-Design. llama.cpp lädt es, aber Teile laufen womöglich weniger effizient als möglich; mit kommenden Updates wird das besser.
• Die 64 GB stammen aus einem gepatchten Treiber. Nach einem Kernel-Update fallen die Karten auf 8 GB zurück, bis die Freischaltung erneut installiert ist.
• Kein ECC. Die Karte korrigiert Speicherfehler weder, noch meldet sie sie — verwenden Sie deshalb nur Karten, die einen vollständigen Speichertest bestanden haben. Unsere werden mit einem Speicherprüfbericht je Karte ausgeliefert, der die jeweilige Seriennummer trägt.

Woher die Zahlen stammen

Quellen: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF

---

hier in Betrieb genommen. Jede CMP 170HX, die wir verkaufen, wird mit vollen 64 GB Kapazität speichergetestet und mit einem Bericht ausgeliefert, der ihre eigene Seriennummer trägt. Wenn Sie diesen Aufbau auf Ihren tatsächlichen Workload auslegen lassen möchten, schreiben Sie uns.*