GLM-5.3-Flash en CMP 170HX — guía de dimensionamiento

---

Lea esto antes de mirar las cifras. Todas las cifras de tokens por segundo, todos los mínimos de RAM y todos los «cabe / no cabe» de esta página están calculados a partir del ancho de banda de memoria, no medidos. Las publicamos porque la aritmética resulta útil para elegir componentes y porque nadie más parece haberla puesto por escrito. Las sustituiremos por cifras reales en cuanto hayamos ejecutado el modelo: la prueba está prevista en una máquina de 8 canales y 512 GB y todavía no se ha realizado. Cuente con el extremo inferior de cada rango.

GLM-5.3-Flash funciona con una o dos tarjetas CMP 170HX de 64 GB desbloqueadas cuando el resto del modelo reside en la RAM del sistema. Con dos tarjetas y 128 GB de RAM debería funcionar con buena calidad; la cantidad y la velocidad de la memoria del sistema determinan la rapidez de las respuestas. A partir de cuatro tarjetas, el modelo de buena calidad cabe por completo en las tarjetas y la RAM del sistema deja de importar.

Lo que hemos medido realmente

Estos datos son nuestros: proceden de nuestro propio banco de pruebas y de un sistema de cuatro tarjetas que pusimos en marcha en septiembre de 2026. Son la base sobre la que se construyen las estimaciones.

Todo lo que viene a partir de aquí son cálculos teóricos.

Cómo funciona

GLM-5.3-Flash es un modelo de mezcla de expertos: 320.000 millones de parámetros en total, pero solo se utilizan 18.000 millones por cada palabra. La tarjeta guarda las partes que necesita cada palabra; el resto permanece en la RAM del sistema, de donde solo se leen los pocos expertos que elige cada palabra.

Esos recuentos de parámetros y la disposición de 288 expertos por capa son cifras publicadas por Z.ai, tomadas de la ficha del modelo y de su config.json. No está en nuestra mano verificarlas.

Elija una configuración

Dos tarjetas con 128 GB de RAM es la configuración a la que apuntar: buena calidad de respuesta a una velocidad utilizable. Las otras dos son un punto de partida más económico y una opción de una sola tarjeta.

Un token equivale aproximadamente a tres cuartos de palabra. 10 tokens/s se leen más o menos a la velocidad a la que lee una persona; a partir de 20 la respuesta se percibe rápida.

Cuánta RAM de sistema necesita

RAM necesaria = la parte del modelo que no cabe en las tarjetas + unos 16 GB para el sistema operativo. Una tarjeta deja unos 46 GB de su memoria para los pesos del modelo; dos tarjetas dejan unos 105 GB.

La versión más pequeña (93 GB) no cabe en una sola tarjeta, por lo que un sistema de una tarjeta siempre necesita una gran reserva de RAM. Los tamaños de archivo son los tamaños GGUF publicados por unsloth, no nuestros.

Velocidad esperada

El número de canales de memoria importa más que el modelo de CPU. Una segunda tarjeta ayuda sobre todo en plataformas de sobremesa, porque traslada una parte mayor del modelo fuera de la RAM lenta.

Más tarjetas: de 3 a 6

A partir de tres tarjetas, todo el modelo cabe en la memoria de las tarjetas, por lo que la RAM del sistema deja de limitar la velocidad.

• Más tarjetas compran calidad y espacio, no velocidad por palabra. Las tarjetas trabajan una tras otra y un archivo de mayor calidad lee más datos por palabra, así que la velocidad baja ligeramente de cuatro a seis tarjetas.
• Cuatro tarjetas son el punto óptimo para un solo usuario: buena calidad, unos 30 tokens/s y sin necesidad de una plataforma de RAM rápida.
• Seis tarjetas encajan con un equipo. Los pesos oficiales FP8 caben y un servidor vLLM podría atender a varios usuarios a la vez. El espacio para el contexto es ajustado, unos 37 GB, y todavía hay que comprobar el soporte de vLLM para este modelo.
• Qué cambia a partir de tres tarjetas: una placa de estación de trabajo o de servidor con una ranura ×16 por tarjeta (EPYC o Threadripper; las ranuras ×8 también sirven, solo se ralentiza la carga), una fuente de alimentación de unos 250 W por tarjeta más 300 W (unos 1.3 kW para cuatro, 1.8–2 kW para seis) y un chasis con flujo de aire para cada tarjeta.

Estas estimaciones suponen que cada tarjeta reserva unos 58 GB para los pesos del modelo y alcanza alrededor del 35% de sus 950 GB/s con este modelo: algo habitual en modelos similares sobre tarjetas de esta generación, pero una suposición, no un resultado.

Lista de comprobación del sistema

Las filas que más veces se tuercen son los canales de memoria, el Above 4G decoding y la refrigeración.

Sobre el enlace PCIe: hemos medido el estado del enlace (Gen2 ×16). No hemos medido el rendimiento de transferencia sobre él. Un enlace Gen2 ×16 llega en teoría a unos 8 GB/s y el tráfico real se queda más cerca de 6–7 GB/s tras las sobrecargas: tómelo como un dato derivado de la especificación, no como una medición.

Qué esperar

• Las entradas largas arrancan despacio. Leer un documento extenso o una base de código grande lleva de segundos a minutos antes de que aparezca la primera palabra, y más aún con una sola tarjeta. Ahí el límite es el enlace Gen2; la velocidad de respuesta no se ve afectada.
• Las versiones de menos bits pierden calidad. UD-Q2_K_XL funciona, pero comete más errores que UD-Q4_K_XL. Para programar o razonar, elija la versión de 4 bits.
• El contexto largo sale barato. La mayoría de las capas mantienen un estado de tamaño fijo, así que una conversación larga apenas consume memoria adicional de la tarjeta.
• Modelo nuevo, soporte de software joven. GLM-5.3-Flash emplea un nuevo diseño de atención. llama.cpp lo carga, pero algunas partes pueden ejecutarse de forma menos eficiente de lo que podrían; esto mejora con las actualizaciones.
• Los 64 GB provienen de un controlador parcheado. Tras una actualización del kernel, las tarjetas vuelven a 8 GB hasta que se reinstala el desbloqueo.
• Sin ECC. La tarjeta no corrige ni informa de los errores de memoria, así que utilice tarjetas que hayan superado una prueba de memoria completa. Las nuestras se envían con un informe de verificación de memoria por tarjeta que incluye su número de serie.

De dónde salen las cifras

Fuentes: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF

---

encargado aquí. Cada CMP 170HX que vendemos se somete a pruebas de memoria a plena capacidad de 64 GB y se entrega con un informe que lleva su propio número de serie. Si desea dimensionar esta configuración según su carga de trabajo real, escríbanos.*