Executar o GLM-5.3-Flash numa CMP 170HX — guia de dimensionamento
Leia isto antes dos números. Todos os valores de tokens por segundo, todos os mínimos de RAM e todos os "cabe / não cabe" desta página são calculados a partir da largura de banda de memória, não medidos. Publicamo-los porque a aritmética é útil para escolher componentes e porque mais ninguém parece tê-la posto no papel. Vamos substituí-los por valores reais assim que tivermos corrido o modelo — o benchmark está planeado numa máquina de 8 canais com 512 GB e ainda não aconteceu. Conte com a extremidade inferior de todos os intervalos.
O GLM-5.3-Flash corre em uma ou duas placas CMP 170HX 64 GB desbloqueadas quando o resto do modelo fica na RAM do sistema. Com duas placas e 128 GB de RAM, deverá correr com boa qualidade; a quantidade e a velocidade da memória do sistema determinam a rapidez das respostas. A partir de quatro placas, o modelo de boa qualidade cabe inteiramente nas placas e a RAM do sistema deixa de ser relevante.
O que medimos efetivamente
Estes valores são nossos, obtidos na nossa própria bancada e num sistema de quatro placas que colocámos em serviço em setembro de 2026. São a base sobre a qual assentam as estimativas.
| Medido no nosso hardware | Resultado |
|---|---|
| Capacidade desbloqueada por placa | 65,536 MiB (64 GB), confirmado em várias placas |
| Largura de banda máxima da VRAM | 931–970 GB/s (memtest_vulkan; o sistema de quatro placas leu 931.3 / 944.2 / 947.3 / 970.0) |
| Estado da ligação PCIe com a nossa modificação x16 | Gen2 ×16 |
| Consumo sustentado | 244–245 W mantidos ao longo de um teste contínuo de 60 minutos (limite de 250 W da placa) |
| ECC | Nenhum. Desativado por fusível — a placa não corrige nem reporta erros de memória |
Tudo o que está abaixo desta linha é modelação.
Como funciona
O GLM-5.3-Flash é um modelo de mistura de especialistas (mixture-of-experts): 320 mil milhões de parâmetros no total, mas apenas 18 mil milhões são usados em cada palavra. A placa guarda as partes de que todas as palavras precisam; o resto fica na RAM do sistema e só os poucos especialistas que cada palavra escolhe são lidos de lá.
Estas contagens de parâmetros e a disposição de 288 especialistas por camada são valores publicados pela Z.ai, retirados do model card e do respetivo config.json. Não nos cabe verificá-los.
Escolha uma configuração
Duas placas com 128 GB de RAM é a configuração a visar: boa qualidade de resposta a uma velocidade utilizável. As outras duas são um começo mais barato e uma opção de placa única.
| Configuração | Placas | RAM do sistema | Qualidade do modelo (ficheiro) | Velocidade estimada |
|---|---|---|---|---|
| Recomendado | 2× 170HX | 128 GB | Boa — UD-Q4_K_XL (200 GB) | 8–20 tokens/s, definido pela plataforma de RAM |
| O mais barato que funciona | 2× 170HX | 64 GB | Utilizável, visivelmente mais fraca — UD-Q2_K_XL (109 GB) | 40–55 tokens/s (o modelo inteiro cabe nas duas placas) |
| Placa única | 1× 170HX | 192 GB, plataforma de 8 canais | Boa — UD-Q4_K_XL (200 GB) | cerca de 15 tokens/s |
Um token corresponde a cerca de três quartos de uma palavra. 10 tokens/s lê-se mais ou menos à velocidade a que uma pessoa lê; 20+ parece rápido.
De quanta RAM de sistema precisa
RAM necessária = a parte do modelo que não cabe nas placas + cerca de 16 GB para o sistema operativo. Uma placa deixa cerca de 46 GB da sua memória para os pesos do modelo; duas placas deixam cerca de 105 GB.
| Qualidade do modelo | Tamanho do ficheiro | 1× 170HX: RAM mín. / recomendada | 2× 170HX: RAM mín. / recomendada |
|---|---|---|---|
| UD-Q2_K_XL — utilizável, visivelmente mais fraca | 109 GB | 64 GB / 96 GB | 32 GB / 64 GB |
| UD-IQ3_XXS — melhor | 120 GB | 96 GB / 128 GB | 48 GB / 64 GB |
| UD-Q4_K_XL — boa (recomendada) | 200 GB | 160 GB / 192 GB | 96 GB / 128 GB |
| Q8_0 — próxima do original | 341 GB | 320 GB / 384 GB | 256 GB / 256 GB |
A versão mais pequena (93 GB) não cabe numa única placa, pelo que um sistema de placa única precisa sempre de um grande conjunto de RAM. Os tamanhos de ficheiro são os tamanhos GGUF publicados pela unsloth, não nossos.
Velocidade esperada
O número de canais de memória conta mais do que o modelo de CPU. Uma segunda placa ajuda sobretudo em plataformas desktop, porque retira uma fatia maior do modelo da RAM lenta.
Mais placas: 3 a 6
A partir de três placas, o modelo inteiro cabe na memória das placas, pelo que a RAM do sistema deixa de limitar a velocidade.
| Placas | Memória das placas | Maior modelo que cabe nas placas | Qualidade | RAM do sistema | Velocidade, um utilizador (estimativa) |
|---|---|---|---|---|---|
| 1 | 64 GB | nenhum — a boa qualidade exige descarga para RAM | boa, com descarga | 192 GB, 8 canais | 14–17 tokens/s |
| 2 | 128 GB | UD-Q2_K_XL (109 GB) | utilizável, mais fraca | 32–64 GB | 40–55 tokens/s |
| 3 | 192 GB | UD-IQ4_XS (157 GB) | boa, ligeiramente abaixo de Q4 | 64 GB | 30–40 tokens/s |
| 4 | 256 GB | UD-Q4_K_XL (200 GB), ~30 GB livres para contexto longo | boa | 64 GB | 27–34 tokens/s |
| 5 | 320 GB | UD-Q5_K_XL (240 GB) | muito boa | 64 GB | 22–28 tokens/s |
| 6 | 384 GB | UD-Q6_K_XL (292 GB), ou a versão oficial FP8 (328 GB) | próxima do original / original | 128 GB | 18–23 tokens/s |
- Mais placas compram qualidade e espaço, não velocidade por palavra. As placas trabalham umas a seguir às outras e um ficheiro de maior qualidade lê mais dados por cada palavra, pelo que a velocidade desce ligeiramente de quatro para seis placas.
- Quatro placas são o ponto ideal para um utilizador: boa qualidade, cerca de 30 tokens/s, sem necessidade de uma plataforma de RAM rápida.
- Seis placas servem uma equipa. Os pesos oficiais FP8 cabem e um servidor vLLM poderia responder a vários utilizadores em simultâneo. O espaço para contexto é apertado, cerca de 37 GB, e o suporte do vLLM para este modelo ainda está por confirmar.
- O que muda a partir de três placas: uma placa de estação de trabalho ou de servidor com uma slot ×16 por placa (EPYC ou Threadripper; slots ×8 também funcionam, só o carregamento fica mais lento), uma fonte de alimentação de cerca de 250 W por placa mais 300 W (cerca de 1.3 kW para quatro, 1.8–2 kW para seis) e um chassis com fluxo de ar para cada placa.
Estas estimativas assumem que cada placa reserva cerca de 58 GB para os pesos do modelo e atinge cerca de 35% dos seus 950 GB/s neste modelo — típico para modelos semelhantes em placas desta geração, mas é um pressuposto, não um resultado.
Lista de verificação do sistema
As linhas que mais vezes correm mal são os canais de memória, o Above 4G decoding e o arrefecimento.
| Elemento | 1× 170HX | 2× 170HX |
|---|---|---|
| CPU | 8+ núcleos com AVX2 (AVX-512 ajuda); 16+ núcleos se a RAM guardar a maior parte do modelo | igual |
| RAM do sistema | ver a tabela de RAM; 192 GB para boa qualidade | ver a tabela de RAM; 128 GB para boa qualidade |
| Canais de memória | tantos quantos possível — uma plataforma de 8 canais é cerca de 3× a de um desktop | igual |
| Placa-mãe | 1 slot PCIe ×16, Above 4G decoding ativado (a placa expõe 64 GB) | 2 slots ×16 com uma slot livre entre elas, Above 4G decoding ativado |
| Ligação PCIe | Gen2 ×16 com a modificação ×16 é suficiente | igual; o modelo é dividido por camadas, pelo que circulam poucos dados entre placas |
| Fonte de alimentação | 750 W (a placa consome 250 W) | 1,000–1,200 W |
| Conector de alimentação | 1× 8 pinos tipo CPU (EPS) por placa; adaptador incluído | 2× |
| Arrefecimento | placa passiva: é obrigatória uma conduta de ventoinha ou um blower por placa | um por placa; duas lado a lado exigem uma conduta dupla |
| Armazenamento | NVMe, pelo menos 1.5× o ficheiro do modelo (boa qualidade: mín. 512 GB, 1 TB recomendado) | igual |
| Sistema operativo | Linux | igual |
| Controlador | controlador aberto NVIDIA 610.43 + desbloqueio cmpunlocker para 64 GB; reinstalar após cada atualização do kernel | igual |
| Software de inferência | llama.cpp ou ik_llama.cpp (mais rápido do lado do CPU) | igual |
Sobre a ligação PCIe: medimos o estado da ligação (Gen2 ×16). Não fizemos benchmark do débito de transferência. Uma ligação Gen2 ×16 atinge no máximo cerca de 8 GB/s em teoria e o tráfego real fica mais perto de 6–7 GB/s depois do overhead — considere este valor derivado da especificação, não uma medição.
O que esperar
- Os prompts longos arrancam devagar. Ler um documento extenso ou uma base de código grande leva de segundos a minutos até surgir a primeira palavra, mais ainda com uma só placa. O limite aí é a ligação Gen2; a velocidade de resposta não é afetada.
- As versões com menos bits perdem qualidade. A UD-Q2_K_XL funciona, mas erra mais do que a UD-Q4_K_XL. Para programação ou raciocínio, escolha a versão de 4 bits.
- O contexto longo é barato. A maioria das camadas mantém um estado de tamanho fixo, pelo que uma conversa longa custa pouca memória adicional na placa.
- Modelo novo, suporte de software ainda jovem. O GLM-5.3-Flash usa um novo desenho de atenção. O llama.cpp carrega-o, mas há partes que podem correr menos eficientemente do que poderiam; isto melhora com as atualizações.
- Os 64 GB vêm de um controlador modificado. Depois de uma atualização do kernel, as placas voltam a 8 GB até o desbloqueio ser reinstalado.
- Sem ECC. A placa não corrige nem reporta erros de memória, por isso use placas que tenham passado um teste de memória completo. As nossas são expedidas com um relatório de verificação de memória por placa, com o número de série dessa placa.
De onde vêm os números
| Afirmação | Estado |
|---|---|
| 320B no total / 18B ativos, 288 especialistas por camada, 8 por token |
Valores da Z.ai — model card e config.json
|
| Tamanhos dos ficheiros quantizados, 93–341 GB | Tamanhos GGUF publicados pela unsloth |
| Todos os valores de tokens/s, mínimos de RAM, capacidades por placa de 46 / 105 / 58 GB | Estimativa Kentino — modelada, não medida |
| Largura de banda útil da RAM por plataforma (35 / 60 / 110 / 300 GB/s) | Estimativa Kentino — valores típicos do mundo real |
| Desbloqueio de 64 GB, 931–970 GB/s, estado da ligação Gen2 ×16, 244–245 W, sem ECC | Medido pela Kentino nas nossas próprias placas |
Fontes: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF
encomendado aqui. Todas as CMP 170HX que vendemos são testadas à memória na capacidade total de 64 GB e são expedidas com um relatório com o respetivo número de série. Se quiser esta configuração dimensionada para a sua carga de trabalho real, escreva-nos.*