Thermique et flux d'air dans les serveurs IA multi-GPU

Thermiquement, un serveur IA multi-GPU est un radiateur industriel qui fait de temps en temps des calculs. Un châssis 4× RTX 5090 en charge soutenue dissipe 2.4 kW de chaleur en continu ; un 8× 5090 en dissipe 5 kW. Rien de tout cela ne s'évacue tout seul — la chaleur se dépose sur la puce du GPU, les VRM, les boîtiers mémoire, puis part dans l'air que le châssis parvient à pousser vers l'arrière. Si le flux d'air ne suit pas les watts, le silicium se bride, et un bridage sur un serveur d'inférence double la latence par token et divise silencieusement le débit par deux. La plupart des histoires de « serveur GPU devenu plus lent » sont thermiques, pas logicielles. Voici le volet flux d'air de la configuration, à lire avec W04 consacré à l'alimentation.

La chaleur, c'est la puissance autrement dite

Chaque watt qui entre dans un GPU en ressort sous forme de chaleur — la carte ne produit aucun travail mécanique, il n'y a donc pas de facteur de rendement. Les TDP que nous retenons pour le dimensionnement :

Deux remarques qui comptent pour les choix de configuration. NVIDIA a relevé le seuil de bridage en bordure de la 5090 à environ 90 °C (contre 83 °C sur la 4090) — la puce tient ses fréquences pleines plus longtemps à flux d'air égal, mais le silicium chauffe davantage, ce qui compte pour un déploiement 24/7. Les cartes station de travail et datacenter (Pro 6000, L40, L4) tiennent rigoureusement leur TDP nominal — elles ne montent jamais au-dessus du plafond. Les cartes grand public, si. La gamme station de travail est plus facile à refroidir de façon prévisible ; la gamme grand public est plus facile à surcharger par inadvertance.

Les seuils de bridage et ce qu'ils coûtent

Le bridage est un dégradé, pas un interrupteur. Sur du silicium de classe Blackwell :

Une charge d'inférence 5090 à 590 W à froid retombe à environ 510 W dès que le capteur de bordure franchit 90 °C — 15 % de tokens par seconde en moins sur une charge vLLM 70B, soit la différence entre tenir un SLO et le manquer. Une carte qui vient d'être allumée atteint son premier point de bridage 60 à 120 s après le début de la charge soutenue ; les benchmarks de moins de 5 minutes surestiment le débit soutenu de 10 à 20 %, ce qui explique une bonne part des écarts entre chiffres publiés et réalité en production.

Flux d'air avant-arrière en rack — la seule architecture raisonnable pour du 24/7

Les topologies de refroidissement GPU se répartissent entre open-air / tour axiale (cartes grand public pour le jeu, expulsion dans le volume du châssis), blower / radiale (cartes de référence, expulsion par l'équerre d'E/S) et cartes datacenter passives (L4, L40 — sans ventilateur, ce sont les ventilateurs du châssis qui poussent l'air à travers le radiateur). Pour une configuration 4 ou 8 GPU qui tourne 24/7, seules les topologies blower et passive fonctionnent dans un châssis dense. Dans un 4U avec les cartes empilées verticalement, un design open-air rejette sa chaleur dans l'admission de la carte du dessus ; la carte supérieure baigne dans un air à 50–60 °C et se bride en quelques minutes.

Les châssis 4U et 8U de Kentino utilisent un flux d'air industriel avant-arrière, avec des ventilateurs de 120 mm qui poussent une forte pression statique à travers les GPU. Les cartes sont de type blower, passives, ou redirigées activement par les guides d'air du châssis. Le châssis est lui-même le système de refroidissement.

Flux d'air avant-arrière en rack : admission en allée froide → GPU dans la colonne de flux → extraction en allée chaude. C'est ce qui maintient des 5090 sous 85 °C avec une admission à 22 °C.

Pression statique ou débit CFM

Les fiches techniques des ventilateurs indiquent un débit (CFM) et une pression statique (mm H2O). Dans un boîtier ouvert, c'est le CFM qui domine ; dans un 4U avec des dissipateurs denses, des risers, des faisceaux de câbles et des radiateurs de GPU passifs sur le trajet, c'est la pression statique qui domine. Un ventilateur de boîtier grand public de 120 mm annonce 70 CFM à 1.2 mm H2O ; un ventilateur serveur industriel de 120 mm (Delta, Sanyo Denki, Nidec, San Ace) annonce 110 CFM à 8–12 mm H2O. L'écart de CFM est de 60 % ; l'écart de pression statique est de 7 à 10×. Dans un châssis à ailettes serrées, le ventilateur de boîtier ne délivre qu'environ 20 CFM de débit réellement traversant ; le ventilateur industriel en délivre 80 à 90. C'est pour cela que le châssis IA de Kentino est bruyant (55–62 dBA en face avant du rack) et qu'il vit dans un rack ou un local technique, pas sur un bureau.

Règles : environ 40–50 CFM de débit traversant par kW de chaleur GPU ; pression statique à l'admission ≥ 5 mm H2O ; le ventirad CPU doit être de type tour avant-arrière, pas à flux descendant.

Pression, filtres et gestion des câbles

La pression du châssis, c'est le CFM d'admission face au CFM d'extraction. En pression positive (plus d'admission), l'air s'échappe par chaque interstice et la poussière reste piégée dans le filtre avant ; en pression négative, l'air non filtré est aspiré par chaque jointure. Le 4U Kentino est en légère surpression par construction — trois admissions, une extraction arrière, plus l'extraction de l'alimentation. Les filtres comptent : un filtre d'admission encrassé à 50 % fait chuter le flux d'air du châssis de 30 à 40 %. Inspectez-les tous les 90 jours dans un bureau, tous les 30 dans un laboratoire. La plupart des signalements « le serveur a chauffé au bout de six mois » sont des problèmes de filtre, pas une dégradation du silicium.

Les câbles dans la colonne d'air avant-arrière sont le problème thermique le plus sous-estimé des configurations multi-GPU. Un faisceau ATX 24 broches tendu devant l'admission du GPU 4 ampute le flux d'air utile de cette carte de 25 à 40 % et lui ajoute 5–8 °C par rapport à ses voisines. Faites passer l'alimentation et l'EPS derrière le plateau de carte mère, jamais en travers de la colonne d'air ; aucun câble en avant du milieu du GPU. W04 explique pourquoi une double alimentation répartie rend la chose physiquement plus simple sur une configuration 4 GPU — deux fois moins de câbles de chaque côté. Le choix de la double alimentation est autant thermique qu'électrique.

Espacement en U dans le rack et air chaud rejeté

Un 4U à 2.4 kW rejette un air à 35–45 °C à plus de 100 CFM ; un 8U à 5 kW rejette un air à 40–50 °C à plus de 200 CFM. Les panneaux d'obturation dans les U libres sont obligatoires dans tout rack fermé — sans eux, l'air chaud reboucle vers l'admission en allée froide. Les armoires fermées plaquées contre un mur sont le pire cas : les unités du haut sont 8 à 12 °C plus chaudes que celles du bas. Un U vide au-dessus et au-dessous de chaque serveur multi-GPU, dans un rack non confiné, gagne 5 à 8 °C de marge à l'admission. Le confinement d'allée chaude devient pertinent à partir de quatre racks, et reste surdimensionné pour un rack isolé.

Mesures réelles — 4 GPU et 8 GPU en charge soutenue

Essais internes Kentino, inférence vLLM 70B Q4, régime stable de 30 min, pièce à 22 °C ± 1 °C.

Le 4× 5090 est la cible de conception — 8 °C d'écart sur l'ensemble du banc, boost maintenu à 30 MHz près de la valeur nominale. Le 8× 5090 est plus près de la limite ; le GPU 8 à 86 °C se situe au seuil où le plafond de boost commence à s'appliquer. Dans une pièce à plus de 24 °C, une configuration 8× 5090 commence à perdre du boost sur les cartes les plus en arrière — la configuration 8 GPU est celle où la température ambiante du local d'installation devient un paramètre de conception à part entière. Le 4× Pro 6000 Workstation tourne plus frais à consommation murale égale, parce que le plafond strict de 600 W et le refroidisseur à double flux traversant offrent une enveloppe plus prévisible que le design grand public de la 5090, sujet aux pics transitoires.

Points chauds au-delà de la puce GPU

Le chiffre que remonte nvidia-smi est celui du capteur de bordure — bordure de la mémoire GDDR ou bordure du silicium, selon la carte. Ce n'est pas l'endroit le plus chaud du châssis. Trois autres emplacements comptent :

Les VRM tournent en général 10 à 20 °C plus chaud que la puce en charge soutenue, avec un plafond autour de 110 °C. Sur une 5090 à 575 W, la télémétrie de la carte donne des VRM entre 85 et 95 °C. Les cartes dont le refroidissement des VRM est faible se brident sur la température des VRM avant le silicium — invisible pour nvidia-smi --query-gpu=temperature.gpu, visible uniquement sous la forme d'une perte de fréquence inexpliquée. Si une carte reste fraîche au capteur GPU mais perd son boost, suspectez les VRM.

La mémoire GDDR7 de la 5090 chauffe beaucoup. Une inférence soutenue avec un fort trafic d'activations pousse la température de jonction de la mémoire à 95–100 °C. La carte bride d'abord la fréquence mémoire (3 à 5 % de bande passante en moins), puis la fréquence GPU. Pour les charges limitées par la mémoire, le goulot d'étranglement est la température mémoire, pas celle du cœur.

Les SSD NVMe sont le tueur silencieux. Un disque PCIe 5.0 en lecture soutenue (chargement de poids 70B, streaming de jeux de données) atteint 70–80 °C en quelques secondes sans refroidissement actif. Au-delà d'environ 75 °C, le contrôleur se bride et la bande passante en lecture est divisée par deux. Un chargement de modèle qui « devrait prendre 8 secondes » en prend 16, et personne ne comprend pourquoi. Toutes les configurations IA de Kentino embarquent des NVMe avec dissipateurs placés dans le flux d'air du châssis.

Pour superviser en production tout ce qui compte :

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

Pour les NVMe, nvme smart-log /dev/nvme0 remonte les températures du contrôleur et la température composite ; alarme à 70 °C en composite. La température des VRM est exposée sur les cartes Pro 6000 via DCGM (dcgm-exporter pour Prometheus) ; sur les cartes grand public, elle dépend du fabricant de la carte et n'est souvent accessible que dans des utilitaires Windows — l'une des raisons pour lesquelles nous préférons les cartes station de travail en production longue durée.

Température ambiante du local et enveloppe ASHRAE

La norme ASHRAE TC9.9 définit les enveloppes thermiques que suit la conception des centres de données. La classe A1 (colocation de premier rang) recommande une entrée d'air à 18–27 °C ; la classe A2 (entreprise générale) étend la plage admissible à 10–35 °C. La gamme IA de Kentino est conçue pour l'A2, mais l'enveloppe sans bridage d'un châssis 4× ou 8× 5090 se situe dans l'A1 : 22 °C à l'admission est le point de conception, 26 °C le plafond pratique avant les premières pertes de boost. L'humidité compte aussi : l'ASHRAE recommande 20–80 % sans condensation. Visez 40–60 % d'HR toute l'année.

Les chiffres des L40 et L4 expliquent pourquoi ces cartes restent intéressantes pour un déploiement en bureau : elles tolèrent une climatisation de bureau classique. Une configuration 8 GPU en 5090 exige une salle serveur ou un local dédié avec son propre refroidissement, point.

Dimensionner la climatisation en un paragraphe

La charge de refroidissement du local est égale à la consommation murale soutenue : 1 kW = 3,412 BTU/hr. Un serveur 4 GPU de 2.4 kW, c'est environ 8,200 BTU/hr ; un serveur 8 GPU de 4.5 kW, environ 15,400 BTU/hr. Dimensionnez la climatisation à 1.3× la charge en régime stable — la même règle de marge que pour les alimentations. Un split de 12,000 BTU sur un serveur de 2.4 kW tourne à 100 % de son cycle et tue le compresseur en 18 à 30 mois ; une unité de 24,000 BTU sur la même charge tourne à 50 % et dure 8 à 10 ans. Le refroidissement de précision (CRAC) devient pertinent au-delà de 10 kW ; en dessous, un split correctement dimensionné fait le travail.

Format : rack 4U, rack 8U, tour

La gamme IA de Kentino en utilise trois : rack 4U pour les configurations 4 GPU (3 admissions de 120 mm, 1 à l'arrière, double ATX, rack 19 pouces), rack 8U pour les configurations 8 GPU (ventilateurs serveur industriels, alimentation CRPS, carte mère bi-processeur, à peu près le double de la densité thermique du 4U), et station de travail tour pour les machines de développement à 1 ou 2 GPU (ventilateurs PWM, compatibles bureau). Au-delà de 2 GPU, nous ne livrons pas de tour — un châssis vertical à 4 GPU atteint 90 °C en bordure sur la carte du haut en moins de 20 minutes de charge soutenue. Le même matériel dans un rack 4U reste indéfiniment sous 85 °C.

Refroidissement liquide — quand et pourquoi

L'air encaisse environ 600 W par GPU dans un 4U bien conçu ; au-delà, la réponse est le liquide. Un AIO par carte fait baisser la bordure GPU de 15 à 25 °C mais ajoute un ordre de grandeur de complexité, avec la panne de pompe et l'évaporation silencieuse du liquide comme nouveaux modes de défaillance. Le direct-to-chip avec échangeur en fond de rack raccordé à l'eau glacée du bâtiment est la bonne réponse à partir de 16 GPU par cluster. Le refroidissement par immersion dans un fluide diélectrique est efficace, coûteux, et change entièrement le modèle de maintenance.

Pour la gamme Kentino actuelle — des châssis refroidis par air jusqu'à 600 W par carte — l'air est la bonne réponse. Une configuration 4× 5090 tourne à 78–84 °C en bordure sans aucun bridage, 24/7, avec une allée froide à 22 °C. Le liquide descendrait à 55–65 °C et gagnerait quelques pour cent de fréquence boost ; l'écart de capex et de complexité ne le justifie pas à cette échelle.

Cet article fait partie du Kentino Wiki, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires et corrections bienvenus à info@kentino.com.