Térmica y flujo de aire en servidores de IA multi-GPU

Un servidor de IA multi-GPU es, térmicamente, un calefactor industrial que de vez en cuando hace cálculos. Un chasis de 4× RTX 5090 bajo carga sostenida disipa 2.4 kW de calor de forma continua; uno de 8× 5090 disipa 5 kW. Nada de eso se va solo: va a parar al die de la GPU, a los VRM, a los encapsulados de memoria y, desde ahí, al aire que el chasis sea capaz de expulsar por detrás. Si el flujo de aire no está a la altura de los vatios, el silicio reduce frecuencias, y esa reducción en un servidor de inferencia duplica la latencia por token y reduce a la mitad el rendimiento sin avisar. La mayoría de las historias de «el servidor GPU se ha vuelto lento» son térmicas, no de software. Esta es la parte de flujo de aire del montaje, complementaria a W04 sobre energía.

El calor no es más que la potencia, dicha de otro modo

Cada vatio que entra en una GPU sale como calor: la tarjeta no realiza trabajo mecánico, así que no hay factor de eficiencia. Los TDP con los que dimensionamos:

GPU TDP sostenido Límite máximo Techo del punto caliente Objetivo de reducción
RTX 5090 (FE / placa de socio) 575 W ~600 W ~95 °C (silicio) 90 °C en borde
RTX 4090 450 W ~500 W ~95 °C 83 °C en borde
RTX Pro 6000 Blackwell Workstation 600 W 600 W ~90 °C 88 °C en borde
RTX Pro 6000 Blackwell Max-Q 300 W 300 W ~85 °C 85 °C en borde
L40 300 W 300 W ~87 °C 87 °C en borde
L4 72 W 72 W ~87 °C 87 °C en borde
Intel Arc Pro B70 32 GB 200 W 225 W ~90 °C 90 °C en borde

Dos apuntes que importan a la hora de decidir un montaje. NVIDIA ha elevado a ~90 °C el umbral de reducción por temperatura de borde de la 5090 (frente a los 83 °C de la 4090): el chip mantiene las frecuencias máximas más tiempo con el mismo flujo de aire, pero el silicio trabaja más caliente, algo relevante en despliegues 24/7. Las tarjetas de estación de trabajo y de centro de datos (Pro 6000, L40, L4) respetan su TDP nominal de forma rígida: no suben por encima del límite. Las de consumo dan picos. La gama de estación de trabajo es más fácil de refrigerar de forma predecible; la de consumo es más fácil de sobrecargar sin darse cuenta.

Umbrales de reducción y lo que cuestan

La reducción de frecuencias es un gradiente, no un interruptor. En silicio de clase Blackwell:

Temperatura de borde Comportamiento
60–75 °C Boost completo, sin reducción
75–85 °C Ligera variación de frecuencia, boost casi completo
85–90 °C Baja el límite de boost, se pierde un 5–10 %
90–95 °C Reducción fuerte, pérdida de frecuencia del 15–25 %
> 95 °C Reducción agresiva, reducción de memoria y, al final, apagado de emergencia

Una carga de inferencia en una 5090 a 590 W en frío cae a ~510 W cuando el sensor de borde supera los 90 °C: un 15 % menos de tokens por segundo en una carga vLLM de 70B, la diferencia entre cumplir un SLO y no cumplirlo. Una tarjeta recién encendida alcanza su primer punto de reducción entre 60 y 120 s después de entrar en carga sostenida; los benchmarks de menos de 5 minutos sobrestiman el rendimiento sostenido en un 10–20 %, y esa es una de las causas más habituales de que las cifras publicadas se alejen de la realidad en producción.

Flujo de aire frontal-trasero en rack: la única arquitectura sensata para 24/7

Las topologías de refrigeración de GPU se dividen en abiertas / torre axial (tarjetas gaming de consumo, que expulsan el aire al interior del chasis), turbina / radial (tarjetas de referencia, que expulsan por el embellecedor de E/S) y tarjetas pasivas de centro de datos (L4, L40: sin ventilador, los ventiladores del chasis empujan el aire a través del disipador). Para un montaje de 4 u 8 GPU funcionando 24/7, en un chasis denso solo funcionan las topologías de turbina y pasivas. En un 4U con las tarjetas apiladas en vertical, un diseño abierto expulsa el calor a la toma de aire de la tarjeta superior; la de arriba acaba respirando aire a 50–60 °C y reduce frecuencias en cuestión de minutos.

Los chasis 4U y 8U de Kentino usan flujo de aire industrial frontal-trasero con ventiladores de 120 mm que empujan aire a alta presión estática a través de las GPU. Las tarjetas son de tipo turbina, pasivas o redirigidas activamente mediante conductos del chasis. El chasis es el propio sistema de refrigeración.

Frente del rack: pasillo frío (~22 °C de entrada)
3× ventiladores de entrada de 120 mm (alta presión estática)
↓columna de aire
Interior del chasis 4U
GPU 1
GPU 2
GPU 3
GPU 4
Fuente · DIMM · disipador y ventilador de CPU · cables guiados tras la bandeja
↓escape caliente
Parte trasera del rack: pasillo caliente (escape a 35–45 °C)
1× escape trasero de 120 mm + escape de la fuente

Flujo de aire frontal-trasero en rack: entrada por el pasillo frío → GPU en la columna de aire → escape al pasillo caliente. Esto es lo que mantiene las 5090 por debajo de 85 °C con 22 °C de entrada.

Presión estática frente a caudal de aire (CFM)

Las hojas de datos de los ventiladores indican caudal (CFM) y presión estática (mm H2O). En una caja abierta domina el CFM; en un 4U con disipadores densos, risers, mazos de cables y disipadores pasivos de GPU en el camino, domina la presión estática. Un ventilador de caja de consumo de 120 mm típico da 70 CFM a 1.2 mm H2O; uno industrial de servidor de 120 mm (Delta, Sanyo Denki, Nidec, San Ace) da 110 CFM a 8–12 mm H2O. La diferencia de CFM es del 60 %; la de presión estática, de 7 a 10 veces. En un chasis con aletas muy juntas, el ventilador de caja entrega quizá 20 CFM de caudal real; el industrial entrega 80–90. Por eso el chasis Kentino AI es ruidoso (55–62 dBA en la cara del rack) y vive en un rack o en un cuarto técnico, no sobre un escritorio.

Reglas: ~40–50 CFM de caudal a través del chasis por cada kW de calor de GPU; presión estática de entrada ≥ 5 mm H2O; el disipador de CPU debe ser de tipo torre frontal-trasero, no de flujo superior.

Presión, filtros y gestión de cables

La presión del chasis es el CFM de entrada frente al de salida. La positiva (más entrada) deja escapar aire por cada rendija y retiene el polvo en el filtro frontal; la negativa aspira aire sin filtrar por cada junta. El 4U de Kentino es ligeramente positivo por diseño: tres entradas, un escape trasero y el escape de la fuente. Los filtros importan: un filtro de entrada obstruido al 50 % reduce el caudal del chasis entre un 30 y un 40 %. Inspecciónelo cada 90 días en una oficina y cada 30 en un laboratorio. La mayoría de los avisos de «el servidor se ha calentado más después de seis meses» son problemas de filtro, no degradación del silicio.

Los cables dentro de la columna de aire frontal-trasera son el problema térmico más subestimado en los montajes multi-GPU. Un mazo ATX de 24 pines cruzado por delante de la GPU 4 recorta entre un 25 y un 40 % el caudal efectivo de esa tarjeta y le suma 5–8 °C frente a sus hermanas. Guíe la alimentación y el EPS por detrás de la bandeja de la placa base, nunca cruzando la columna de aire; ningún cable por delante del punto medio de la GPU. W04 explica por qué el reparto con doble fuente lo facilita físicamente en un montaje de 4 GPU: la mitad de masa de cable por lado. La elección de doble fuente es tan térmica como eléctrica.

Separación en U del rack y escape caliente

Un 4U a 2.4 kW expulsa aire a 35–45 °C con más de 100 CFM; un 8U a 5 kW lo expulsa a 40–50 °C con más de 200 CFM. Los paneles ciegos en las U libres son obligatorios en cualquier rack cerrado: sin ellos, el aire caliente vuelve a la toma del pasillo frío. Los armarios cerrados pegados a la pared son el peor caso: las unidades superiores trabajan entre 8 y 12 °C más calientes que las inferiores. Dejar una U libre por encima y por debajo de cada servidor multi-GPU en racks sin contención gana 5–8 °C de margen en la entrada. La contención de pasillo caliente tiene sentido a partir de cuatro racks y es excesiva para uno solo.

Mediciones reales: 4 y 8 GPU bajo carga sostenida

Pruebas internas de Kentino, inferencia vLLM 70B Q4, 30 minutos en régimen estable, sala a 22 °C ± 1 °C.

Configuración Entrada Borde de GPU Borde de CPU Escape Reducción
4× RTX 5090 (4U, EPYC 9354) 23 °C 76–84 °C 68 °C 41 °C No
8× RTX 5090 (8U, 2× EPYC 9554) 24 °C 78–86 °C 70–72 °C 46 °C Al límite
4× Pro 6000 Workstation (4U) 23 °C 71–77 °C 67 °C 43 °C No

El 4× 5090 es el objetivo de diseño: 8 °C de diferencia en todo el banco y boost mantenido dentro de 30 MHz del nominal. El 8× 5090 queda más cerca del límite; la GPU 8 a 86 °C está justo donde empieza a bajar el límite de boost. En salas por encima de 24 °C, un montaje de 8× 5090 empieza a perder boost en las tarjetas traseras: la configuración de 8 GPU es aquella en la que la temperatura ambiente de la sala de instalación pasa a ser un parámetro de diseño de primer orden. El 4× Pro 6000 Workstation trabaja más fresco con el mismo consumo de pared porque el límite rígido de 600 W y el disipador de doble flujo pasante dan un margen más predecible que el diseño de consumo de la 5090, con sus picos transitorios.

Puntos calientes más allá del die de la GPU

La cifra que informa nvidia-smi es el sensor de borde: el borde de la memoria GDDR o el del silicio, según la tarjeta. No es lo más caliente del chasis. Importan otros tres puntos:

Los VRM suelen trabajar entre 10 y 20 °C más calientes que el die bajo carga sostenida, con un techo en torno a 110 °C. En una 5090 a 575 W, la telemetría de la placa muestra temperaturas de VRM en el rango de 85–95 °C. Las tarjetas con mala refrigeración de VRM reducen frecuencias por temperatura de VRM antes que por la del silicio, algo invisible para nvidia-smi --query-gpu=temperature.gpu, que solo se aprecia como una pérdida de frecuencia inexplicable. Si una tarjeta va fresca en el sensor de GPU pero pierde boost, sospeche del VRM.

La memoria GDDR7 de la 5090 trabaja caliente. La inferencia sostenida con mucho tráfico de activaciones lleva la temperatura de unión de la memoria a 95–100 °C. La tarjeta reduce primero la frecuencia de memoria (3–5 % menos de ancho de banda) y después la de la GPU. En cargas limitadas por memoria, el cuello de botella es la temperatura de la memoria, no la del núcleo.

Los SSD NVMe son el asesino silencioso. Una unidad PCIe 5.0 con lecturas sostenidas (cargar pesos de 70B, streaming de datasets) alcanza 70–80 °C en segundos sin refrigeración activa. Por encima de ~75 °C la controladora reduce el rendimiento y el ancho de banda de lectura cae a la mitad. Una carga de modelo que «debería tardar 8 segundos» tarda 16 y nadie sabe por qué. Todos los equipos Kentino AI se entregan con NVMe con disipador en el camino del aire del chasis.

Para vigilar en producción todo lo que importa:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

Para NVMe, nvme smart-log /dev/nvme0 informa de las temperaturas de la controladora y compuesta; ponga la alarma a 70 °C de temperatura compuesta. La temperatura de VRM se expone en las tarjetas Pro 6000 mediante DCGM (dcgm-exporter para Prometheus); en las tarjetas de consumo depende del fabricante de la placa y a menudo solo aparece en utilidades de Windows, una de las varias razones por las que preferimos tarjetas de estación de trabajo en producción de larga duración.

Temperatura ambiente de la sala y envolvente ASHRAE

La norma ASHRAE TC9.9 define las envolventes térmicas que sigue el diseño de centros de datos. La clase A1 (colocación de primer nivel) recomienda una entrada de 18–27 °C; la clase A2 (empresa general) amplía lo admisible a 10–35 °C. La gama Kentino AI está diseñada para A2, pero la envolvente sin reducción de frecuencias de un chasis de 4× u 8× 5090 queda dentro de A1: 22 °C de entrada es el punto de diseño y 26 °C el techo práctico antes de empezar a perder boost. La humedad también cuenta: ASHRAE recomienda 20–80 % sin condensación. Apunte a un 40–60 % de HR todo el año.

Configuración Ambiente recomendado Techo (sin reducción) Techo máximo (con algo de reducción)
4× 4090 18–24 °C 26 °C 30 °C
4× 5090 18–22 °C 24 °C 28 °C
4× Pro 6000 18–25 °C 27 °C 32 °C
8× 5090 18–22 °C 23 °C 26 °C
8× Pro 6000 18–24 °C 25 °C 29 °C
8× L40 18–26 °C 28 °C 32 °C
8× L4 18–28 °C 30 °C 35 °C

Las cifras de la L40 y la L4 son la razón por la que esas tarjetas siguen siendo interesantes para despliegues de oficina: toleran el aire acondicionado normal de una oficina. Un montaje de 8 GPU 5090 exige una sala de servidores o un cuarto técnico con refrigeración dedicada, sin excepciones.

Dimensionado de la climatización en un párrafo

La carga de refrigeración de la sala equivale al consumo sostenido de pared: 1 kW = 3,412 BTU/h. Un servidor de 4 GPU de 2.4 kW son ~8,200 BTU/h; uno de 8 GPU de 4.5 kW, ~15,400 BTU/h. Dimensione el aire acondicionado a 1.3× la carga en régimen estable: la misma regla de margen que para las fuentes. Un split de 12,000 BTU sobre un servidor de 2.4 kW funciona al 100 % de ciclo de trabajo y mata el compresor en 18–30 meses; una unidad de 24,000 BTU con la misma carga trabaja al 50 % y dura de 8 a 10 años. La refrigeración de precisión (CRAC) cobra sentido por encima de 10 kW; por debajo, un split bien dimensionado hace el trabajo.

Formato: rack 4U, rack 8U y torre

La gama Kentino AI usa tres: rack 4U para montajes de 4 GPU (3× entradas de 120 mm, 1× trasero, doble ATX, rack de 19 pulgadas), rack 8U para montajes de 8 GPU (ventiladores industriales de servidor, alimentación CRPS, placa base de doble CPU, aproximadamente el doble de densidad de calor que el 4U), y estación de trabajo en torre para equipos de desarrollo de 1 y 2 GPU (ventiladores PWM, aptos para oficina). Por encima de 2 GPU no enviamos torres: un chasis vertical de 4 GPU llega a 90 °C de borde en la tarjeta superior en 20 minutos de carga sostenida. El mismo hardware en un rack 4U se mantiene por debajo de 85 °C indefinidamente.

Refrigeración líquida: cuándo y por qué

El aire gestiona ~600 W por GPU en un 4U bien diseñado; por encima de eso, la respuesta es el líquido. Un AIO por tarjeta baja el borde de la GPU entre 15 y 25 °C, pero añade un orden de magnitud de complejidad, con el fallo de bomba y la evaporación silenciosa del refrigerante como nuevos modos de fallo. La refrigeración directa al chip con un intercambiador en la parte trasera del rack conectado al agua fría de la instalación es la respuesta correcta a partir de 16 GPU por clúster. La inmersión en fluido dieléctrico es eficiente, cara y cambia por completo el modelo de mantenimiento.

Para la gama Kentino actual —chasis refrigerados por aire de hasta 600 W por tarjeta—, el aire es la respuesta correcta. Un montaje de 4× 5090 trabaja a 78–84 °C de borde sin ninguna reducción de frecuencias, 24/7, con un pasillo frío a 22 °C. El líquido lo llevaría a 55–65 °C y ganaría un pequeño porcentaje de frecuencia de boost; el sobrecoste y la complejidad no lo justifican a esta escala.

Qué hacer a continuación: lista de comprobación térmica

Si está dimensionando la parte térmica de un montaje o de la sala de despliegue:

  1. ¿Cuál es la temperatura ambiente del pasillo frío en la sala de instalación? Mídala bajo carga realista, no un domingo con el aire acondicionado a tope. Compárela con la tabla de ambiente anterior.
  2. ¿La refrigeración de la sala está dimensionada a 1.3× el consumo de pared del servidor? Un aire acondicionado dimensionado exactamente a la carga funciona al 100 % de ciclo de trabajo y falla en menos de dos años.
  3. ¿Adónde va el escape caliente? Un rack abierto con pasillo caliente va bien; un armario cerrado sin contención, o un cuarto con el servidor apuntando a la pared, no.
  4. ¿Ciclo de trabajo? Un equipo de desarrollo al 30 % de carga tiene necesidades de refrigeración distintas de las de un servidor de inferencia 24/7.
  5. ¿Plan de filtros y de crecimiento? Un filtro obstruido reduce silenciosamente el caudal a la mitad; un segundo servidor duplica la carga de calor. Planifique ambos.
  6. ¿Telemetría en marcha? nvidia-smi consultado cada 5 s para borde de GPU / memoria / frecuencias / potencia, nvme smart-log para las unidades, DCGM para los VRM cuando esté disponible, y temperatura y humedad ambiente de la sala en la pila de monitorización, con alarmas a 27 °C y fuera del 40–60 % de HR.

El diseño a nivel de chasis —flujo frontal-trasero, ventiladores industriales de 120 mm, GPU de turbina o pasivas y un cableado disciplinado— viene de serie en todos los equipos Kentino AI. La sala y el rack son el lado del cliente de la línea, y es ahí donde se origina la mayoría de las incidencias de campo.

W06 (siguiente de la serie W) trata los niveles de almacenamiento: los diseños de NVMe, SAS y pool masivo que acompañan a estos chasis de cómputo.


Esto forma parte de la Kentino Wiki, una serie de referencia sobre cómputo de IA, robótica y los sistemas que los conectan. Comentarios y correcciones son bienvenidos en info@kentino.com.