Térmica e fluxo de ar em servidores de IA multi-GPU

Um servidor de IA multi-GPU é, do ponto de vista térmico, um aquecedor industrial que de vez em quando faz contas. Um chassis com 4× RTX 5090 sob carga contínua liberta 2.4 kW de calor sem parar; um com 8× 5090 liberta 5 kW. Nada disso desaparece sozinho — vai parar ao die da GPU, aos VRM, aos encapsulamentos de memória e daí para o ar que o chassis conseguir empurrar para a traseira. Se o fluxo de ar não acompanhar a potência, o silício entra em throttling, e o throttling num servidor de inferência duplica a latência por token e reduz o débito a metade sem avisar. A maioria das histórias de “o servidor de GPU ficou mais lento” é térmica, não é de software. Este é o lado do fluxo de ar da configuração, a par do W04 sobre energia.

O calor é apenas potência, dita de outra maneira

Cada watt que entra numa GPU sai como calor — a placa não realiza trabalho mecânico, logo não há fator de eficiência. Os TDP com que dimensionamos:

GPU TDP contínuo Limite rígido Teto do ponto quente Alvo de throttling
RTX 5090 (FE / placa de parceiro) 575 W ~600 W ~95 °C (silício) 90 °C no sensor de bordo
RTX 4090 450 W ~500 W ~95 °C 83 °C no sensor de bordo
RTX Pro 6000 Blackwell Workstation 600 W 600 W ~90 °C 88 °C no sensor de bordo
RTX Pro 6000 Blackwell Max-Q 300 W 300 W ~85 °C 85 °C no sensor de bordo
L40 300 W 300 W ~87 °C 87 °C no sensor de bordo
L4 72 W 72 W ~87 °C 87 °C no sensor de bordo
Intel Arc Pro B70 32 GB 200 W 225 W ~90 °C 90 °C no sensor de bordo

Duas notas que contam para as decisões de configuração. A NVIDIA subiu o limiar de throttling do sensor de bordo da 5090 para ~90 °C (face aos 83 °C da 4090) — o chip mantém os relógios máximos durante mais tempo com o mesmo fluxo de ar, mas o silício trabalha mais quente, o que conta em instalações 24/7. As placas de estação de trabalho e de centro de dados (Pro 6000, L40, L4) respeitam rigidamente o TDP nominal — não ultrapassam o limite em boost. As placas de consumo têm picos. A gama de estação de trabalho é mais fácil de arrefecer de forma previsível; a gama de consumo é mais fácil de sobrecarregar por descuido.

Limiares de throttling e o que custam

O throttling é um gradiente, não um interruptor. Em silício da classe Blackwell:

Temperatura no sensor de bordo Comportamento
60–75 °C Boost completo, sem throttling
75–85 °C Ligeira variação de relógio, boost quase completo
85–90 °C O limite de boost desce, perde-se 5–10%
90–95 °C Throttling forte, perda de relógio de 15–25%
> 95 °C Throttling agressivo, throttling de memória e, por fim, encerramento de emergência

Uma carga de inferência numa 5090 a 590 W a frio desce para ~510 W quando o sensor de bordo passa os 90 °C — menos 15% de tokens por segundo numa carga vLLM 70B, a diferença entre cumprir um SLO e não o cumprir. Uma placa acabada de ligar atinge o primeiro ponto de throttling 60–120 s depois do início da carga contínua; benchmarks com menos de 5 minutos sobrestimam o débito contínuo em 10–20%, uma das formas mais comuns de os números publicados divergirem da realidade em produção.

Fluxo de ar de frente para trás no rack — a única arquitetura sensata para 24/7

As topologias de arrefecimento de GPU dividem-se em ar aberto / torre axial (placas de consumo para jogos, que expelem o calor para o interior do chassis), blower / radial (placas de referência, que expelem o ar pelo painel de I/O) e placas passivas de centro de dados (L4, L40 — sem ventoinha, com as ventoinhas do chassis a empurrar o ar através do dissipador). Para uma configuração de 4 ou 8 GPU a funcionar 24/7, só as topologias blower e passiva funcionam num chassis denso. Num 4U com as placas empilhadas na vertical, um desenho de ar aberto expele o calor para a entrada da placa de cima; a placa superior fica em ar a 50–60 °C e entra em throttling em poucos minutos.

Os chassis 4U e 8U da Kentino usam fluxo de ar industrial de frente para trás, com ventoinhas de 120 mm a empurrar alta pressão estática através das GPU. As placas são do tipo blower, passivas, ou têm o ar redirecionado ativamente por condutas do chassis. O chassis é, ele próprio, o sistema de arrefecimento.

Frente do rack — corredor frio (entrada a ~22 °C)
3× ventoinhas de entrada de 120 mm (alta pressão estática)
↓coluna de fluxo de ar
Interior do chassis 4U
GPU 1
GPU 2
GPU 3
GPU 4
Fonte de alimentação · DIMM · dissipador do CPU + ventoinha · cabos encaminhados atrás da bandeja
↓exaustão quente
Traseira do rack — corredor quente (exaustão a 35–45 °C)
1× exaustão traseira de 120 mm + exaustão da fonte de alimentação

Fluxo de ar de frente para trás no rack: entrada pelo corredor frio → GPU na coluna de fluxo de ar → exaustão para o corredor quente. É isto que mantém as 5090 abaixo dos 85 °C com entrada a 22 °C.

Pressão estática face ao caudal de ar em CFM

As fichas técnicas das ventoinhas indicam o caudal (CFM) e a pressão estática (mm H2O). Numa caixa aberta domina o CFM; num 4U com dissipadores densos, risers, feixes de cabos e dissipadores passivos de GPU no caminho, domina a pressão estática. Uma ventoinha de caixa de consumo típica de 120 mm dá 70 CFM a 1.2 mm H2O; uma ventoinha industrial de servidor de 120 mm (Delta, Sanyo Denki, Nidec, San Ace) dá 110 CFM a 8–12 mm H2O. A diferença de CFM é de 60%; a de pressão estática é de 7–10×. Num chassis com alhetas muito juntas, a ventoinha de caixa entrega talvez 20 CFM de caudal efetivo; a industrial entrega 80–90. É por isto que o chassis Kentino AI é ruidoso (55–62 dBA na face do rack) e vive num rack ou numa arrecadação, não numa secretária.

Regras: ~40–50 CFM de caudal através do chassis por cada kW de calor das GPU; pressão estática à entrada ≥ 5 mm H2O; o dissipador do CPU tem de ser do tipo torre de frente para trás, não de fluxo descendente.

Pressão, filtros e gestão de cabos

A pressão do chassis é o CFM de entrada face ao CFM de saída. Positiva (mais entrada) faz o ar escapar por todas as frestas e retém o pó no filtro frontal; negativa puxa ar não filtrado por todas as juntas. O 4U da Kentino é ligeiramente positivo por desenho — três entradas, uma exaustão traseira, mais a exaustão da fonte de alimentação. Os filtros contam: um filtro de entrada 50% entupido reduz o fluxo de ar do chassis em 30–40%. Inspecione de 90 em 90 dias num escritório, de 30 em 30 num laboratório. A maioria dos relatos de “o servidor aqueceu mais ao fim de seis meses” são problemas de filtro, não degradação do silício.

Os cabos na coluna de ar de frente para trás são o problema térmico mais subestimado nas configurações multi-GPU. Um feixe ATX de 24 pinos atravessado sobre o lado de entrada da GPU 4 corta 25–40% do fluxo de ar efetivo dessa placa e acrescenta-lhe 5–8 °C face às irmãs. Encaminhe a alimentação e os EPS por trás da bandeja da placa-mãe, nunca através da coluna de ar; nenhum cabo à frente do ponto médio da GPU. O W04 explica porque é que a entrega repartida por duas fontes de alimentação facilita fisicamente isto numa configuração de 4 GPU — metade da massa de cabos de cada lado. A opção por duas fontes é tanto térmica como elétrica.

Espaçamento em U no rack e exaustão quente

Um 4U a 2.4 kW expele ar a 35–45 °C com mais de 100 CFM; um 8U a 5 kW expele a 40–50 °C com mais de 200 CFM. Os painéis de obturação nos U livres são obrigatórios em qualquer rack fechado — sem eles, o ar quente de exaustão volta à entrada do corredor frio. Os armários fechados encostados a uma parede são o pior cenário: as unidades de cima ficam 8–12 °C mais quentes do que as de baixo. Deixar um U vazio acima e abaixo de cada servidor multi-GPU em racks sem contenção ganha 5–8 °C de margem na entrada. A contenção de corredor quente faz sentido à escala de quatro racks, mas é exagero para um rack único.

Medições reais — 4 e 8 GPU sob carga contínua

Ensaios internos da Kentino, inferência vLLM 70B Q4, 30 minutos em regime estacionário, sala a 22 °C ± 1 °C.

Configuração Entrada Bordo da GPU Bordo do CPU Exaustão Throttling
4× RTX 5090 (4U, EPYC 9354) 23 °C 76–84 °C 68 °C 41 °C Não
8× RTX 5090 (8U, 2× EPYC 9554) 24 °C 78–86 °C 70–72 °C 46 °C No limite
4× Pro 6000 Workstation (4U) 23 °C 71–77 °C 67 °C 43 °C Não

A configuração 4× 5090 é o alvo de desenho — 8 °C de amplitude em todo o banco, com o boost a manter-se a menos de 30 MHz do nominal. A 8× 5090 fica mais perto do limite; a GPU 8 a 86 °C está no limiar em que o limite de boost começa a atuar. Em salas acima dos 24 °C, uma configuração 8× 5090 começa a perder boost nas placas mais traseiras — a configuração de 8 GPU é aquela em que a temperatura ambiente da sala de instalação passa a ser um parâmetro de primeira ordem. A 4× Pro 6000 Workstation funciona mais fria com o mesmo consumo à tomada, porque o limite rígido de 600 W e o dissipador de duplo fluxo passante dão um envelope mais previsível do que o desenho de consumo da 5090, com os seus picos transitórios.

Pontos quentes para além do die da GPU

O número que o nvidia-smi indica é o do sensor de bordo — o bordo da memória GDDR ou o do silício, consoante a placa. Não é a coisa mais quente do chassis. Há outros três sítios que contam:

Os VRM costumam trabalhar 10–20 °C acima do die sob carga contínua, com um teto perto dos 110 °C. Numa 5090 a 575 W, a telemetria da placa mostra temperaturas de VRM na casa dos 85–95 °C. As placas com arrefecimento fraco dos VRM entram em throttling pela temperatura do VRM antes do silício — invisível para o nvidia-smi --query-gpu=temperature.gpu, visível apenas como uma perda de relógio inexplicada. Se uma placa estiver fresca no sensor da GPU mas perder boost, suspeite dos VRM.

A memória GDDR7 da 5090 aquece bastante. A inferência contínua com muito tráfego de ativações empurra a temperatura de junção da memória para os 95–100 °C. A placa reduz primeiro o relógio da memória (3–5% de largura de banda perdida) e só depois o relógio da GPU. Em cargas limitadas pela memória, o gargalo é a temperatura da memória, não a do núcleo.

Os SSD NVMe são o assassino silencioso. Uma unidade PCIe 5.0 em leituras contínuas (carregar pesos de 70B, streaming de conjuntos de dados) chega aos 70–80 °C em segundos sem arrefecimento ativo. Acima dos ~75 °C o controlador entra em throttling e a largura de banda de leitura cai para metade. Um carregamento de modelo que “devia demorar 8 segundos” demora 16, e ninguém percebe porquê. Todas as configurações Kentino AI são fornecidas com NVMe com dissipadores no caminho do fluxo de ar do chassis.

Para monitorizar tudo o que conta em produção:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

Para NVMe, o nvme smart-log /dev/nvme0 indica as temperaturas do controlador e a composta; alarme aos 70 °C na composta. A temperatura dos VRM é exposta nas placas Pro 6000 através de DCGM (dcgm-exporter para o Prometheus); nas placas de consumo depende do fabricante da placa e muitas vezes só aparece em utilitários de Windows — uma de várias razões pelas quais preferimos placas de estação de trabalho em produção de longa duração.

Temperatura ambiente da sala e o envelope ASHRAE

A norma ASHRAE TC9.9 define os envelopes térmicos que o projeto de centros de dados segue. A Classe A1 (colocation de nível 1) recomenda 18–27 °C à entrada; a Classe A2 (empresarial geral) alarga o admissível para 10–35 °C. A gama Kentino AI é desenhada para A2, mas o envelope sem throttling de um chassis 4× ou 8× 5090 fica dentro da A1: 22 °C à entrada é o ponto de desenho, 26 °C o teto prático antes de começar a perda de boost. A humidade também conta: a ASHRAE recomenda 20–80% sem condensação. Aponte para 40–60% de HR ao longo do ano.

Configuração Ambiente recomendado Teto (sem throttling) Teto absoluto (com algum throttling)
4× 4090 18–24 °C 26 °C 30 °C
4× 5090 18–22 °C 24 °C 28 °C
4× Pro 6000 18–25 °C 27 °C 32 °C
8× 5090 18–22 °C 23 °C 26 °C
8× Pro 6000 18–24 °C 25 °C 29 °C
8× L40 18–26 °C 28 °C 32 °C
8× L4 18–28 °C 30 °C 35 °C

Os números da L40 e da L4 são a razão pela qual essas placas continuam interessantes para instalações de escritório: toleram o AVAC normal de um escritório. Uma configuração de 8 GPU 5090 precisa de uma sala de servidores ou de uma arrecadação com arrefecimento dedicado, ponto final.

Dimensionamento do AVAC num parágrafo

A carga de arrefecimento da sala é igual ao consumo contínuo à tomada: 1 kW = 3,412 BTU/hr. Um servidor de 4 GPU a 2.4 kW são ~8,200 BTU/hr; um de 8 GPU a 4.5 kW são ~15,400 BTU/hr. Dimensione o ar condicionado a 1.3× a carga em regime estacionário — a mesma regra de margem que se aplica às fontes de alimentação. Um split de 12,000 BTU num servidor de 2.4 kW trabalha a 100% do ciclo de funcionamento e mata o compressor em 18–30 meses; uma unidade de 24,000 BTU com a mesma carga trabalha a 50% e dura 8–10 anos. O arrefecimento de precisão (CRAC) passa a ser relevante acima dos 10 kW; abaixo disso, um split bem dimensionado faz o trabalho.

Formato: rack 4U, rack 8U, torre

A gama Kentino AI usa três: rack 4U para configurações de 4 GPU (3× entrada de 120 mm, 1× traseira, dupla ATX, rack de 19 polegadas), rack 8U para configurações de 8 GPU (ventoinhas industriais de servidor, alimentação CRPS, placa-mãe de duplo CPU, sensivelmente o dobro da densidade de calor do 4U), e estação de trabalho em torre para máquinas de desenvolvimento de 1 e 2 GPU (ventoinhas PWM, adequadas a escritório). Acima de 2 GPU não fornecemos torres — um chassis vertical de 4 GPU chega aos 90 °C no sensor de bordo da placa de cima ao fim de 20 minutos de carga contínua. O mesmo hardware num rack 4U mantém-se abaixo dos 85 °C indefinidamente.

Arrefecimento líquido — quando e porquê

O ar dá conta de ~600 W por GPU num 4U bem desenhado; acima disso, a resposta é o líquido. Um AIO por placa baixa o sensor de bordo da GPU em 15–25 °C, mas acrescenta uma ordem de grandeza de complexidade, com a falha da bomba e a evaporação silenciosa do líquido como novos modos de avaria. O direct-to-chip com permutador de calor na traseira do rack ligado à água refrigerada das instalações é a resposta certa a partir de 16 GPU por cluster. A imersão em fluido dielétrico é eficiente, cara e muda por completo o modelo de assistência técnica.

Para a gama Kentino atual — chassis arrefecidos a ar até 600 W por placa — o ar é a resposta certa. Uma configuração 4× 5090 trabalha a 78–84 °C no sensor de bordo com zero throttling, 24/7, com um corredor frio a 22 °C. O líquido baixaria isso para 55–65 °C e ganharia uns pontos percentuais de relógio em boost; o acréscimo de investimento e de complexidade não o justifica a esta escala.

O que fazer a seguir — lista de verificação da monitorização térmica

Se está a dimensionar o lado térmico de uma configuração ou da sala onde vai instalá-la:

  1. Qual é o ambiente do corredor frio na sala de instalação? Meça sob carga realista, não num domingo com o ar condicionado a trabalhar a fundo. Compare com a tabela de ambiente acima.
  2. O arrefecimento da sala está dimensionado a 1.3× o consumo do servidor à tomada? Um ar condicionado dimensionado exatamente para a carga trabalha a 100% do ciclo de funcionamento e avaria em menos de dois anos.
  3. Para onde vai o ar quente de exaustão? Um rack aberto com corredor quente serve; um armário fechado sem contenção, ou uma arrecadação com o servidor virado para uma parede, não.
  4. Ciclo de funcionamento? Uma máquina de desenvolvimento a 30% de carga tem necessidades de arrefecimento diferentes das de um servidor de inferência 24/7.
  5. Plano de filtros e de crescimento? Um filtro entupido reduz discretamente o fluxo de ar a metade; um segundo servidor duplica a carga térmica. Agende os dois.
  6. A telemetria está a funcionar? nvidia-smi consultado de 5 em 5 s para bordo da GPU / memória / relógios / potência, nvme smart-log para as unidades, DCGM para os VRM onde estiver disponível, ambiente da sala + humidade na pilha de monitorização com alarmes aos 27 °C e fora da faixa de 40–60% de HR.

O desenho ao nível do chassis — fluxo de ar de frente para trás, ventoinhas industriais de 120 mm, GPU blower ou passivas, encaminhamento de cabos disciplinado — vem de série em todas as configurações Kentino AI. A sala e o rack são o lado do cliente desta fronteira, e é aí que tem origem a maior parte dos problemas no terreno.

W06 (o próximo da série W) trata dos níveis de armazenamento — as disposições de NVMe, SAS e pools de grande capacidade que acompanham estes chassis de computação.


Isto faz parte da Kentino Wiki, uma série de referência sobre computação de IA, robótica e os sistemas que os ligam. Comentários e correções são bem-vindos em info@kentino.com.