Faire tourner GLM-5.3-Flash sur CMP 170HX — guide de dimensionnement
À lire avant les chiffres. Chaque valeur en tokens par seconde, chaque minimum de RAM et chaque « tient / ne tient pas » de cette page est calculé à partir de la bande passante mémoire, et non mesuré. Nous le publions parce que le calcul aide à choisir ses composants et que personne d'autre ne semble l'avoir mis par écrit. Nous remplacerons ces valeurs par des mesures réelles dès que nous aurons fait tourner le modèle — le benchmark est prévu sur une machine 8 canaux de 512 GB et n'a pas encore eu lieu. Tablez sur la borne basse de chaque fourchette.
GLM-5.3-Flash fonctionne sur une ou deux cartes CMP 170HX 64 GB débridées, le reste du modèle résidant en RAM système. Avec deux cartes et 128 GB de RAM, il devrait tourner en bonne qualité ; la quantité et la vitesse de la mémoire système déterminent la rapidité des réponses. À partir de quatre cartes, le modèle en bonne qualité tient entièrement sur les cartes et la RAM système n'a plus d'importance.
Ce que nous avons réellement mesuré
Ces valeurs sont les nôtres : elles viennent de notre banc d'essai et d'un système à quatre cartes que nous avons mis en service en septembre 2026. C'est sur elles que reposent toutes les estimations.
| Mesuré sur notre matériel | Résultat |
|---|---|
| Capacité débridée par carte | 65,536 MiB (64 GB), confirmé sur de nombreuses cartes |
| Bande passante VRAM maximale | 931–970 GB/s (memtest_vulkan ; relevés du système à quatre cartes : 931.3 / 944.2 / 947.3 / 970.0) |
| État du lien PCIe avec notre modification x16 | Gen2 ×16 |
| Consommation soutenue | 244–245 W maintenue pendant 60 minutes de charge continue (limite carte : 250 W) |
| ECC | Aucun. Désactivé matériellement — la carte ne corrige ni ne signale les erreurs mémoire |
Tout ce qui suit relève de la modélisation.
Comment cela fonctionne
GLM-5.3-Flash est un modèle à mélange d'experts : 320 milliards de paramètres au total, mais seulement 18 milliards servent à chaque mot. La carte conserve les parties dont chaque mot a besoin ; le reste demeure en RAM système, d'où ne sont lus que les quelques experts sélectionnés par chaque mot.
Ces nombres de paramètres et la structure à 288 experts par couche sont les chiffres publiés par Z.ai, relevés sur la fiche du modèle et son fichier config.json. Il ne nous appartient pas de les vérifier.
Choisissez votre configuration
Deux cartes avec 128 GB de RAM : c'est la configuration à viser, pour une bonne qualité de réponse à une vitesse confortable. Les deux autres sont un point d'entrée plus abordable et une option mono-carte.
| Configuration | Cartes | RAM système | Qualité du modèle (fichier) | Vitesse estimée |
|---|---|---|---|---|
| Recommandée | 2× 170HX | 128 GB | Bonne — UD-Q4_K_XL (200 GB) | 8–20 tokens/s, déterminée par la plateforme mémoire |
| La moins chère qui fonctionne | 2× 170HX | 64 GB | Utilisable, sensiblement plus faible — UD-Q2_K_XL (109 GB) | 40–55 tokens/s (le modèle entier tient sur les deux cartes) |
| Carte unique | 1× 170HX | 192 GB, plateforme 8 canaux | Bonne — UD-Q4_K_XL (200 GB) | environ 15 tokens/s |
Un token représente environ trois quarts de mot. À 10 tokens/s, le texte défile à peu près à la vitesse de lecture d'une personne ; au-delà de 20, cela paraît rapide.
Quelle quantité de RAM système prévoir
RAM nécessaire = la part du modèle qui ne tient pas sur les cartes + environ 16 GB pour le système d'exploitation. Une carte laisse environ 46 GB de sa mémoire aux poids du modèle ; deux cartes en laissent environ 105 GB.
| Qualité du modèle | Taille du fichier | 1× 170HX : RAM min / recommandée | 2× 170HX : RAM min / recommandée |
|---|---|---|---|
| UD-Q2_K_XL — utilisable, sensiblement plus faible | 109 GB | 64 GB / 96 GB | 32 GB / 64 GB |
| UD-IQ3_XXS — meilleure | 120 GB | 96 GB / 128 GB | 48 GB / 64 GB |
| UD-Q4_K_XL — bonne (recommandée) | 200 GB | 160 GB / 192 GB | 96 GB / 128 GB |
| Q8_0 — proche de l'original | 341 GB | 320 GB / 384 GB | 256 GB / 256 GB |
La version la plus légère (93 GB) ne tient pas sur une seule carte : un système mono-carte exige donc toujours une large réserve de RAM. Les tailles de fichiers sont les tailles GGUF publiées par unsloth, pas les nôtres.
Vitesse attendue
Le nombre de canaux mémoire compte plus que le modèle de processeur. Une deuxième carte apporte le plus sur les plateformes de bureau, car elle sort une part plus importante du modèle de la RAM lente.
Davantage de cartes : de 3 à 6
À partir de trois cartes, le modèle entier tient dans la mémoire des cartes : la RAM système ne limite plus la vitesse.
| Cartes | Mémoire des cartes | Plus gros modèle tenant sur les cartes | Qualité | RAM système | Vitesse, un utilisateur (estimation) |
|---|---|---|---|---|---|
| 1 | 64 GB | aucun — la bonne qualité exige un report en RAM | bonne, avec report en RAM | 192 GB, 8 canaux | 14–17 tokens/s |
| 2 | 128 GB | UD-Q2_K_XL (109 GB) | utilisable, plus faible | 32–64 GB | 40–55 tokens/s |
| 3 | 192 GB | UD-IQ4_XS (157 GB) | bonne, légèrement en deçà de Q4 | 64 GB | 30–40 tokens/s |
| 4 | 256 GB | UD-Q4_K_XL (200 GB), ~30 GB restants pour le contexte long | bonne | 64 GB | 27–34 tokens/s |
| 5 | 320 GB | UD-Q5_K_XL (240 GB) | très bonne | 64 GB | 22–28 tokens/s |
| 6 | 384 GB | UD-Q6_K_XL (292 GB), ou la version officielle FP8 (328 GB) | proche de l'original / original | 128 GB | 18–23 tokens/s |
- Plus de cartes achètent de la qualité et de la marge, pas de la vitesse par mot. Les cartes travaillent l'une après l'autre et un fichier de meilleure qualité lit davantage de données pour chaque mot : la vitesse baisse donc légèrement en passant de quatre à six cartes.
- Quatre cartes, le point d'équilibre pour un seul utilisateur : bonne qualité, environ 30 tokens/s, sans plateforme à RAM rapide.
- Six cartes conviennent à une équipe. Les poids FP8 officiels tiennent et un serveur vLLM pourrait répondre à plusieurs utilisateurs à la fois. L'espace de contexte reste juste, autour de 37 GB, et la prise en charge de ce modèle par vLLM demande encore vérification.
- Ce qui change à partir de trois cartes : une carte mère de station de travail ou de serveur avec un port ×16 par carte (EPYC ou Threadripper ; les ports ×8 fonctionnent aussi, seul le chargement ralentit), une alimentation d'environ 250 W par carte plus 300 W (environ 1.3 kW pour quatre, 1.8–2 kW pour six) et un châssis assurant un flux d'air vers chaque carte.
Ces estimations supposent que chaque carte réserve environ 58 GB aux poids du modèle et atteint environ 35 % de ses 950 GB/s sur ce modèle — une valeur habituelle pour des modèles comparables sur des cartes de cette génération, mais une hypothèse, pas un résultat.
Liste de vérification du système
Les points qui posent le plus souvent problème sont les canaux mémoire, l'option Above 4G decoding et le refroidissement.
| Élément | 1× 170HX | 2× 170HX |
|---|---|---|
| Processeur | 8 cœurs ou plus avec AVX2 (AVX-512 aide) ; 16 cœurs ou plus si la RAM héberge l'essentiel du modèle | idem |
| RAM système | voir le tableau RAM ; 192 GB pour une bonne qualité | voir le tableau RAM ; 128 GB pour une bonne qualité |
| Canaux mémoire | le plus possible — une plateforme 8 canaux vaut environ 3× un poste de bureau | idem |
| Carte mère | 1 port PCIe ×16, Above 4G decoding activé (la carte expose 64 GB) | 2 ports ×16 séparés par un port libre, Above 4G decoding activé |
| Lien PCIe | Gen2 ×16 avec la modification ×16 suffit | idem ; le modèle est découpé par couches, peu de données circulent donc entre les cartes |
| Alimentation | 750 W (la carte consomme 250 W) | 1,000–1,200 W |
| Connecteur d'alimentation | 1 connecteur 8 broches de type CPU (EPS) par carte ; adaptateur fourni | 2× |
| Refroidissement | carte passive : un conduit de ventilation ou une turbine par carte est indispensable | un par carte ; deux cartes côte à côte exigent un conduit double |
| Stockage | NVMe, au moins 1.5× la taille du fichier du modèle (bonne qualité : 512 GB minimum, 1 TB recommandé) | idem |
| Système d'exploitation | Linux | idem |
| Pilote | pilote ouvert NVIDIA 610.43 + déverrouillage 64 GB cmpunlocker ; à réinstaller après chaque mise à jour du noyau | idem |
| Logiciel d'inférence | llama.cpp ou ik_llama.cpp (plus rapide côté processeur) | idem |
À propos du lien PCIe : nous avons mesuré l' état du lien (Gen2 ×16). Nous n'avons pas mesuré le débit de transfert réel. Un lien Gen2 ×16 plafonne théoriquement autour de 8 GB/s et le trafic réel se situe plutôt vers 6–7 GB/s une fois les surcoûts déduits — à considérer comme déduit de la spécification, non comme une mesure.
À quoi s'attendre
- Les prompts longs démarrent lentement. La lecture d'un long document ou d'une grande base de code demande de quelques secondes à quelques minutes avant l'apparition du premier mot, davantage avec une seule carte. C'est le lien Gen2 qui limite ici ; la vitesse de réponse, elle, n'est pas affectée.
- Les versions à moins de bits perdent en qualité. UD-Q2_K_XL fonctionne, mais commet plus d'erreurs que UD-Q4_K_XL. Pour le code ou le raisonnement, choisissez la version 4 bits.
- Le contexte long coûte peu. La plupart des couches conservent un état de taille fixe : une longue conversation consomme donc peu de mémoire supplémentaire sur les cartes.
- Modèle récent, prise en charge logicielle encore jeune. GLM-5.3-Flash utilise une nouvelle architecture d'attention. llama.cpp le charge, mais certaines parties peuvent s'exécuter moins efficacement qu'elles ne le pourraient ; cela s'améliore au fil des mises à jour.
- Les 64 GB proviennent d'un pilote modifié. Après une mise à jour du noyau, les cartes retombent à 8 GB tant que le déverrouillage n'est pas réinstallé.
- Pas d'ECC. La carte ne corrige ni ne signale les erreurs mémoire : n'utilisez que des cartes ayant passé un test mémoire complet. Les nôtres sont livrées avec un rapport de vérification mémoire propre à chaque carte, portant son numéro de série.
D'où viennent ces chiffres
| Affirmation | Statut |
|---|---|
| 320 Md au total / 18 Md actifs, 288 experts par couche, 8 par token |
chiffres de Z.ai — fiche du modèle et config.json
|
| Tailles des fichiers quantifiés, 93–341 GB | les tailles GGUF publiées par unsloth |
| Toutes les valeurs en tokens/s, les minimums de RAM, les capacités par carte de 46 / 105 / 58 GB | estimation Kentino — modélisée, non mesurée |
| Bande passante RAM utile par plateforme (35 / 60 / 110 / 300 GB/s) | estimation Kentino — valeurs habituelles en conditions réelles |
| Déverrouillage 64 GB, 931–970 GB/s, état du lien Gen2 ×16, 244–245 W, absence d'ECC | mesuré par Kentino sur nos propres cartes |
Sources : zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF
mis en service ici. Chaque CMP 170HX que nous vendons est testé en mémoire sur la totalité des 64 GB et livré avec un rapport portant son propre numéro de série. Si vous souhaitez que cette configuration soit dimensionnée sur votre charge de travail réelle, écrivez-nous.*