Teploty a proudění vzduchu v multi-GPU AI serverech

AI server s více GPU je z tepelného hlediska průmyslový ohřívač, který občas něco spočítá. Skříň se 4× RTX 5090 pod trvalou zátěží vydává nepřetržitě 2.4 kW tepla, konfigurace 8× 5090 pak 5 kW. Nic z toho nikam neodejde samo — teplo končí na čipu GPU, na VRM, na pamětích a odtud ve vzduchu, který skříň dokáže protlačit dozadu. Pokud proudění vzduchu neodpovídá příkonu, křemík začne throttlovat, a throttling na inferenčním serveru zdvojnásobí latenci tokenů a nenápadně sníží propustnost na polovinu. Většina historek o tom, že „GPU server se zpomalil“, má tepelnou, ne softwarovou příčinu. Tento článek pokrývá stranu proudění vzduchu a navazuje na díl W04 o napájení.

Teplo je jen jinak zapsaný příkon

Každý watt, který vstoupí do GPU, z ní vyjde jako teplo — karta nekoná žádnou mechanickou práci, takže tu není žádná účinnost, která by se dala odečíst. Hodnoty TDP, podle kterých dimenzujeme:

GPU Trvalé TDP Tvrdý strop Limit hot spotu Práh throttlingu
RTX 5090 (FE / partnerská deska) 575 W ~600 W ~95 °C (křemík) 90 °C edge
RTX 4090 450 W ~500 W ~95 °C 83 °C edge
RTX Pro 6000 Blackwell Workstation 600 W 600 W ~90 °C 88 °C edge
RTX Pro 6000 Blackwell Max-Q 300 W 300 W ~85 °C 85 °C edge
L40 300 W 300 W ~87 °C 87 °C edge
L4 72 W 72 W ~87 °C 87 °C edge
Intel Arc Pro B70 32 GB 200 W 225 W ~90 °C 90 °C edge

Dvě poznámky, které se promítnou do návrhu sestavy. NVIDIA zvedla práh throttlingu podle edge senzoru u 5090 na ~90 °C (oproti 83 °C u 4090) — čip drží plné takty při stejném proudění vzduchu déle, ale křemík běží tepleji, což je u provozu 24/7 podstatné. Workstationové a datacentrové karty (Pro 6000, L40, L4) drží své jmenovité TDP neúprosně — nad strop nepřetaktují. Spotřebitelské karty mají špičky. Workstationová řada se chladí předvídatelněji, spotřebitelskou řadu si naopak snadno nechtěně přetížíte.

Prahy throttlingu a co stojí

Throttling není vypínač, ale plynulý přechod. Na křemíku třídy Blackwell:

Teplota edge senzoru Chování
60–75 °C Plný boost, žádný throttling
75–85 °C Mírné kolísání taktů, téměř plný boost
85–90 °C Strop boostu klesá, ztráta 5–10 %
90–95 °C Tvrdý throttling, ztráta taktu 15–25 %
> 95 °C Agresivní throttling, throttling pamětí, nakonec nouzové vypnutí

Inferenční workload na 5090, který ve studeném stavu běží na 590 W, klesne na ~510 W, jakmile edge senzor překročí 90 °C — to je u workloadu vLLM 70B ztráta 15 % tokenů za sekundu, tedy rozdíl mezi splněním a nesplněním SLO. Čerstvě zapnutá karta narazí na první práh throttlingu po 60–120 s trvalé zátěže; benchmarky kratší než 5 minut nadhodnocují trvalou propustnost o 10–20 %, což je jeden z nejčastějších důvodů, proč se publikovaná čísla rozcházejí s realitou provozu.

Proudění vzduchu zepředu dozadu — jediná rozumná architektura pro provoz 24/7

Topologie chladičů GPU se dělí na otevřené / axiální věžové (spotřebitelské herní karty, výfuk do vnitřku skříně), radiální typu blower (referenční karty, výfuk ven přes I/O záslepku) a pasivní datacentrové karty (L4, L40 — bez ventilátoru, vzduch skrz žebrování protlačí ventilátory skříně). U sestavy se 4 nebo 8 GPU běžící 24/7 platí, že v husté skříni fungují jen blower a pasivní topologie. Ve 4U skříni s kartami nad sebou vyfukuje otevřený design teplo přímo do sání karty nad ním; horní karta sedí ve vzduchu o 50–60 °C a během pár minut začne throttlovat.

Skříně Kentino 4U a 8U využívají průmyslové proudění zepředu dozadu se 120mm ventilátory, které ženou přes GPU vzduch s vysokým statickým tlakem. Karty jsou typu blower, pasivní, nebo je vzduch aktivně veden vzduchovody ve skříni. Chladičem je sama skříň.

Přední strana racku — studená ulička (sání ~22 °C)
3× 120mm sací ventilátor (vysoký statický tlak)
↓sloupec proudění
Vnitřek skříně 4U
GPU 1
GPU 2
GPU 3
GPU 4
Zdroj · DIMM moduly · chladič CPU s ventilátorem · kabeláž vedená za deskou
↓horký výfuk
Zadní strana racku — horká ulička (výfuk 35–45 °C)
1× 120mm zadní výfuk + výfuk zdroje

Proudění vzduchu rackem zepředu dozadu: sání ze studené uličky → GPU ve sloupci proudění → výfuk do horké uličky. Právě tohle udrží 5090 pod 85 °C při sání 22 °C.

Statický tlak vs. průtok v CFM

Datasheety ventilátorů uvádějí průtok (CFM) a statický tlak (mm H2O). U otevřené skříně rozhoduje CFM; u 4U s hustými chladiči, risery, svazky kabelů a pasivním žebrováním GPU v cestě rozhoduje statický tlak. Typický 120mm spotřebitelský ventilátor má v katalogu 70 CFM při 1.2 mm H2O; 120mm průmyslový serverový ventilátor (Delta, Sanyo Denki, Nidec, San Ace) 110 CFM při 8–12 mm H2O. Rozdíl v CFM je 60 %, rozdíl ve statickém tlaku 7–10×. Ve skříni s hustým žebrováním dodá spotřebitelský ventilátor reálně snad 20 CFM protékajícího vzduchu, průmyslový 80–90. Proto je skříň Kentino AI hlučná (55–62 dBA u čela racku) a patří do racku nebo komory, ne na stůl.

Pravidla: ~40–50 CFM průtoku skříní na každý kW tepla z GPU; statický tlak na sání ≥ 5 mm H2O; chladič CPU musí být věžový, orientovaný zepředu dozadu, nikoli top-flow.

Tlak, filtry a vedení kabeláže

Tlak ve skříni je dán poměrem sacího a výfukového CFM. Přetlak (více sání) vytlačuje vzduch všemi škvírami a zachytává prach na předním filtru; podtlak naopak nasává nefiltrovaný vzduch každou spárou. Kentino 4U je záměrně mírně přetlakové — tři sací ventilátory, jeden zadní výfuk a výfuk zdroje. Na filtrech záleží: z 50 % zanesený sací filtr sníží průtok skříní o 30–40 %. V kanceláři kontrolujte každých 90 dní, v laboratoři každých 30. Většina hlášení typu „server se po půl roce ohřál“ jsou problémy s filtrem, ne degradace křemíku.

Kabely ve sloupci proudění zepředu dozadu jsou nejpodceňovanějším tepelným problémem sestav s více GPU. Svazek 24pinového ATX přehozený přes sací stranu GPU 4 sníží efektivní průtok u této karty o 25–40 % a přidá jí oproti sousedům 5–8 °C. Napájecí kabely i EPS veďte za nosičem základní desky, nikdy napříč sloupcem proudění; před polovinou délky GPU nesmí být žádný kabel. W04 vysvětluje, proč je rozdělené napájení ze dvou zdrojů u sestavy se 4 GPU fyzicky snazší — na každé straně je poloviční objem kabeláže. Volba dvou zdrojů je stejně tak tepelné jako elektrické rozhodnutí.

Rozestupy v rackových jednotkách a horký výfuk

Skříň 4U při 2.4 kW vyfukuje vzduch o 35–45 °C při více než 100 CFM; 8U při 5 kW vzduch o 40–50 °C při více než 200 CFM. Záslepky v nevyužitých pozicích U jsou v každém uzavřeném racku povinné — bez nich se horký výfuk vrací zpět do sání ve studené uličce. Nejhorší je uzavřená skříň přisunutá ke zdi: horní jednotky mají o 8–12 °C více než spodní. Jedna prázdná pozice U nad a pod každým serverem s více GPU vám v neohraničeném racku získá 5–8 °C rezervy na sání. Ohraničení horké uličky dává smysl zhruba od čtyř racků, u jednoho racku je zbytečné.

Reálná měření — 4 a 8 GPU pod trvalou zátěží

Interní testy Kentino, inference vLLM 70B Q4, 30 minut ustáleného stavu, místnost 22 °C ± 1 °C.

Sestava Sání GPU edge CPU edge Výfuk Throttling
4× RTX 5090 (4U, EPYC 9354) 23 °C 76–84 °C 68 °C 41 °C Ne
8× RTX 5090 (8U, 2× EPYC 9554) 24 °C 78–86 °C 70–72 °C 46 °C Na hraně
4× Pro 6000 Workstation (4U) 23 °C 71–77 °C 67 °C 43 °C Ne

Konfigurace 4× 5090 je cílem návrhu — rozptyl 8 °C napříč celou řadou karet a boost držený do 30 MHz od nominálu. Konfigurace 8× 5090 je blíž limitu; GPU 8 při 86 °C je přesně na hraně, kde se začíná snižovat strop boostu. V místnostech teplejších než 24 °C začíná sestava 8× 5090 ztrácet boost na nejzadnějších kartách — právě u konfigurace s osmi GPU se teplota v instalační místnosti stává plnohodnotným parametrem návrhu. Sestava 4× Pro 6000 Workstation běží při stejném odběru ze sítě chladněji, protože tvrdý strop 600 W a průtokový chladič s dvojitým průchodem dávají předvídatelnější obálku než spotřebitelský design 5090 se špičkovými přechody.

Horká místa mimo samotný čip GPU

Hodnota, kterou nvidia-smi hlásí, pochází z edge senzoru — podle karty jde o okraj pamětí GDDR nebo okraj křemíku. Není to nejteplejší místo ve skříni. Záleží ještě na třech dalších:

VRM běží pod trvalou zátěží typicky o 10–20 °C tepleji než čip, se stropem kolem 110 °C. U 5090 při 575 W ukazuje telemetrie desky teploty VRM v rozsahu 85–95 °C. Karty se slabým chlazením VRM začnou throttlovat podle teploty VRM dřív než podle křemíku — a to je neviditelné pro nvidia-smi --query-gpu=temperature.gpu, projeví se to jen jako nevysvětlitelná ztráta taktu. Pokud karta na senzoru GPU běží chladně, a přesto ztrácí boost, podezřelé jsou VRM.

Paměti GDDR7 na 5090 běží horké. Trvalá inference s velkým objemem aktivací vyžene teplotu přechodu pamětí na 95–100 °C. Karta nejprve sníží takt pamětí (ztráta propustnosti 3–5 %), teprve pak takt GPU. U workloadů limitovaných pamětí je úzkým hrdlem teplota pamětí, ne jádra.

NVMe SSD jsou tichým zabijákem. Disk PCIe 5.0 při trvalém čtení (načítání vah modelu 70B, streamování datasetu) bez aktivního chlazení dosáhne 70–80 °C během několika sekund. Nad ~75 °C řadič throttluje a propustnost čtení klesne na polovinu. Načtení modelu, které „má trvat 8 sekund“, trvá 16 a nikdo neví proč. Každá sestava Kentino AI se dodává s NVMe osazenými chladiči v dráze proudění skříně.

Jak v produkci sledovat všechno podstatné:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

U NVMe nástroj nvme smart-log /dev/nvme0 hlásí teplotu řadiče i kompozitní teplotu; alarm nastavte na 70 °C kompozitní. Teplotu VRM zpřístupňují karty Pro 6000 přes DCGM (dcgm-exporter pro Prometheus); u spotřebitelských karet to závisí na výrobci desky a bývá to dostupné jen ve windowsových utilitách — jeden z několika důvodů, proč v dlouhodobém provozu preferujeme workstationové karty.

Teplota v místnosti a obálka podle ASHRAE

ASHRAE TC9.9 definuje tepelné obálky, kterými se řídí návrh datacenter. Třída A1 (kolokace tier-1) doporučuje vstupní teplotu 18–27 °C, třída A2 (běžný enterprise provoz) rozšiřuje přípustné rozmezí na 10–35 °C. Řada Kentino AI je navržena podle A2, ale obálka bez throttlingu pro skříň se 4× nebo 8× 5090 leží uvnitř A1: návrhovým bodem je sání 22 °C, praktickým stropem před začátkem ztráty boostu 26 °C. Záleží i na vlhkosti: ASHRAE doporučuje 20–80 % bez kondenzace. Celoročně se držte 40–60 % relativní vlhkosti.

Sestava Doporučená teplota okolí Strop (bez throttlingu) Tvrdý strop (jakýkoli throttling)
4× 4090 18–24 °C 26 °C 30 °C
4× 5090 18–22 °C 24 °C 28 °C
4× Pro 6000 18–25 °C 27 °C 32 °C
8× 5090 18–22 °C 23 °C 26 °C
8× Pro 6000 18–24 °C 25 °C 29 °C
8× L40 18–26 °C 28 °C 32 °C
8× L4 18–28 °C 30 °C 35 °C

Čísla u L40 a L4 jsou důvodem, proč tyto karty zůstávají zajímavé pro nasazení v kancelářích: snesou běžnou kancelářskou klimatizaci. Sestava s osmi 5090 potřebuje serverovnu nebo komoru s vyhrazeným chlazením, tečka.

Dimenzování klimatizace v jednom odstavci

Chladicí zátěž místnosti se rovná trvalému odběru ze sítě: 1 kW = 3,412 BTU/hr. Server se 4 GPU a 2.4 kW znamená ~8,200 BTU/hr, server s 8 GPU a 4.5 kW ~15,400 BTU/hr. Klimatizaci dimenzujte na 1.3× ustálené zátěže — stejné pravidlo rezervy jako u zdrojů. Split 12,000 BTU na serveru s 2.4 kW běží na 100 % času a zabije kompresor za 18–30 měsíců; jednotka 24,000 BTU při stejné zátěži běží na 50 % a vydrží 8–10 let. Přesné chlazení (CRAC) se vyplatí nad 10 kW, pod touto hranicí práci odvede správně nadimenzovaný split.

Formáty: rack 4U, rack 8U, Tower

Řada Kentino AI používá tři: rack 4U pro sestavy se 4 GPU (3× 120mm sání, 1× zadní výfuk, dva zdroje ATX, 19palcový rack), rack 8U pro sestavy s 8 GPU (průmyslové serverové ventilátory, napájení CRPS, základní deska pro dva procesory, zhruba dvojnásobná tepelná hustota oproti 4U) a Tower workstation pro vývojářské stanice s 1 a 2 GPU (ventilátory PWM, vhodné do kanceláře). Nad dvě GPU už Tower nedodáváme — svislá skříň se 4 GPU dosáhne na horní kartě 90 °C edge do 20 minut trvalé zátěže. Stejný hardware v racku 4U zůstane pod 85 °C libovolně dlouho.

Kapalinové chlazení — kdy a proč

Vzduch v dobře navržené skříni 4U zvládne ~600 W na jedno GPU; nad tuto hranici přichází na řadu kapalina. Okruh AIO na každou kartu sníží GPU edge o 15–25 °C, ale přidá o řád víc složitosti a s ní nové způsoby poruchy — selhání čerpadla a tiché odpařování chladiva. Direct-to-chip s výměníkem na zadní straně racku napojeným na chlazenou vodu objektu je správná odpověď od 16 GPU na cluster výš. Ponoření do dielektrické kapaliny je efektivní, drahé a zcela mění model servisovatelnosti.

Pro současnou řadu Kentino — vzduchem chlazené skříně do 600 W na kartu — platí, že vzduch je správná odpověď. Sestava 4× 5090 běží na 78–84 °C edge zcela bez throttlingu, 24/7, při studené uličce 22 °C. Kapalina by teploty srazila na 55–65 °C a získala pár procent taktu boostu; rozdíl v pořizovacích nákladech a složitosti to v tomto měřítku neospravedlní.

Co udělat dál — kontrolní seznam tepelného monitoringu

Pokud dimenzujete tepelnou stránku sestavy nebo místnosti pro nasazení:

  1. Jaká je teplota studené uličky v instalační místnosti? Měřte při realistické zátěži, ne v neděli s klimatizací na plné obrátky. Porovnejte s tabulkou teplot výše.
  2. Je chlazení místnosti dimenzováno na 1.3× odběru serveru ze sítě? Klimatizace nadimenzovaná přesně na zátěž běží na 100 % času a do dvou let se porouchá.
  3. Kam odchází horký výfuk? Otevřený rack s horkou uličkou je v pořádku; uzavřená skříň bez ohraničení nebo komora se serverem otočeným ke zdi nikoli.
  4. Jaké je zatížení v čase? Vývojářská stanice na 30 % zátěže má jiné nároky na chlazení než inferenční server běžící 24/7.
  5. Máte plán pro filtry a růst? Zanesený filtr tiše sníží průtok vzduchu na polovinu, druhý server zdvojnásobí tepelnou zátěž. Naplánujte obojí.
  6. Běží telemetrie? nvidia-smi s intervalem 5 s pro GPU edge / paměti / takty / příkon, nvme smart-log pro disky, DCGM pro VRM tam, kde je k dispozici, a teplota i vlhkost místnosti v monitorovacím systému s alarmy při 27 °C a mimo rozsah 40–60 % relativní vlhkosti.

Návrh na úrovni skříně — proudění zepředu dozadu, průmyslové 120mm ventilátory, GPU typu blower nebo pasivní, disciplinované vedení kabeláže — je standardní součástí každé sestavy Kentino AI. Místnost a rack jsou na straně zákazníka a právě odtud pochází většina problémů z provozu.

W06 (další díl série W) se věnuje úrovním úložiště — rozvržením NVMe, SAS a kapacitních poolů, která se k těmto výpočetním skříním hodí.


Toto je součást Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je propojují. Připomínky a opravy uvítáme na info@kentino.com.