Teploty a prúdenie vzduchu v multi-GPU AI serveroch

Multi-GPU AI server je z tepelného hľadiska priemyselný ohrievač, ktorý občas počíta. Šasi so 4× RTX 5090 pod trvalou záťažou nepretržite vyžiari 2.4 kW tepla; zostava s 8× 5090 až 5 kW. Nič z toho nezmizne samo — teplo končí na čipe GPU, na VRM a na pamäťových puzdrách a odtiaľ v tom vzduchu, ktorý šasi dokáže vytlačiť dozadu. Ak prúdenie vzduchu nezodpovedá príkonu, kremík začne throttlovať, a throttling na inferenčnom serveri zdvojnásobí latenciu tokenov a potichu zníži priepustnosť na polovicu. Väčšina príbehov typu „GPU server sa spomalil“ je o teple, nie o softvéri. Toto je vzduchová stránka zostavy, ktorá dopĺňa W04 o napájaní.

Teplo je len inak povedaný príkon

Každý watt, ktorý do GPU vstúpi, z neho vyjde ako teplo — karta nekoná žiadnu mechanickú prácu, takže tu neexistuje žiadny koeficient účinnosti. TDP, podľa ktorých dimenzujeme:

GPU Trvalé TDP Tvrdý strop Strop hot-spotu Hranica throttlingu
RTX 5090 (FE / partnerská doska) 575 W ~600 W ~95 °C (kremík) 90 °C edge
RTX 4090 450 W ~500 W ~95 °C 83 °C edge
RTX Pro 6000 Blackwell Workstation 600 W 600 W ~90 °C 88 °C edge
RTX Pro 6000 Blackwell Max-Q 300 W 300 W ~85 °C 85 °C edge
L40 300 W 300 W ~87 °C 87 °C edge
L4 72 W 72 W ~87 °C 87 °C edge
Intel Arc Pro B70 32 GB 200 W 225 W ~90 °C 90 °C edge

Dve poznámky, ktoré sú dôležité pri rozhodovaní o zostave. NVIDIA zdvihla hranicu throttlingu edge senzora na 5090 na ~90 °C (z 83 °C na 4090) — čip udrží plné takty pri rovnakom prúdení vzduchu dlhšie, kremík však beží teplejšie, čo má význam pri nasadeniach 24/7. Workstation a datacentrové karty (Pro 6000, L40, L4) držia svoje menovité TDP striktne — nad strop neboostujú. Spotrebiteľské karty majú špičky. Workstation rad sa chladí predvídateľnejšie; spotrebiteľský rad sa ľahšie omylom predimenzuje.

Hranice throttlingu a čo stoja

Throttling je gradient, nie vypínač. Na kremíku triedy Blackwell:

Teplota edge Správanie
60–75 °C Plný boost, žiadny throttling
75–85 °C Mierne kolísanie taktov, takmer plný boost
85–90 °C Strop boostu klesá, strata 5–10%
90–95 °C Tvrdý throttling, strata taktov 15–25%
> 95 °C Agresívny throttling, throttling pamäte, nakoniec núdzové vypnutie

Inferenčný workload na 5090 bežiaci za studena na 590 W klesne na ~510 W, len čo edge senzor prekročí 90 °C — pri vLLM workloade so 70B modelom je to 15% stratených tokenov za sekundu, teda rozdiel medzi splnením a nesplnením SLO. Čerstvo zapnutá karta narazí na prvý bod throttlingu 60–120 s po nábehu trvalej záťaže; benchmarky kratšie ako 5 minút nadhodnocujú trvalú priepustnosť o 10–20%, čo je jeden z najčastejších dôvodov, prečo sa publikované čísla rozchádzajú s produkčnou realitou.

Prúdenie vzduchu v racku spredu dozadu — jediná rozumná architektúra pre 24/7

Topológie chladičov GPU sa delia na open-air / axiálne vežové (spotrebiteľské herné karty, výfuk do vnútra šasi), blower / radiálne (referenčné karty, výfuk cez I/O záslepku) a pasívne datacentrové karty (L4, L40 — bez ventilátora, vzduch cez rebrovanie tlačia ventilátory šasi). Pri 4-GPU alebo 8-GPU zostave bežiacej 24/7 v hustom šasi fungujú len blower a pasívne topológie. V 4U s kartami nad sebou vyfukuje open-air riešenie teplo priamo do nasávania karty nad ňou; vrchná karta sedí v 50–60 °C vzduchu a začne throttlovať v priebehu minút.

Šasi Kentino 4U a 8U využívajú priemyselné prúdenie spredu dozadu so 120 mm ventilátormi, ktoré tlačia vzduch cez GPU s vysokým statickým tlakom. Karty sú typu blower, pasívne, alebo je vzduch aktívne vedený tunelmi v šasi. Chladičom je samotné šasi.

Predná strana racku — studená ulička (nasávanie ~22 °C)
3× 120 mm nasávacie ventilátory (vysoký statický tlak)
↓vzduchový stĺpec
Vnútro 4U šasi
GPU 1
GPU 2
GPU 3
GPU 4
Zdroj · DIMM moduly · chladič CPU + ventilátor · kabeláž vedená za nosným plechom
↓horúci výfuk
Zadná strana racku — horúca ulička (výfuk 35–45 °C)
1× 120 mm zadný výfuk + výfuk zdroja

Prúdenie v racku spredu dozadu: nasávanie zo studenej uličky → GPU vo vzduchovom stĺpci → výfuk do horúcej uličky. Práve toto drží 5090 pod 85 °C pri nasávaní 22 °C.

Statický tlak vs. prietok vzduchu CFM

Katalógové listy ventilátorov uvádzajú prietok vzduchu (CFM) a statický tlak (mm H2O). Pri otvorenej skrinke dominuje CFM; pri 4U s hustými chladičmi, riserami, zväzkami káblov a pasívnym rebrovaním GPU v ceste dominuje statický tlak. Typický 120 mm spotrebiteľský ventilátor do skrinky má 70 CFM pri 1.2 mm H2O; 120 mm priemyselný serverový ventilátor (Delta, Sanyo Denki, Nidec, San Ace) má 110 CFM pri 8–12 mm H2O. Rozdiel v CFM je 60%; rozdiel v statickom tlaku 7–10×. V šasi s hustým rebrovaním doručí spotrebiteľský ventilátor reálne možno 20 CFM prietoku; priemyselný 80–90. Preto je šasi Kentino AI hlučné (55–62 dBA na čele racku) a patrí do racku alebo komory, nie na stôl.

Pravidlá: ~40–50 CFM prietoku cez šasi na každý kW tepla z GPU; statický tlak na nasávaní ≥ 5 mm H2O; chladič CPU musí byť vežový typu spredu dozadu, nie top-flow.

Tlak, filtre a manažment kabeláže

Tlak v šasi je pomer nasávaného a vyfukovaného CFM. Pretlak (viac nasávania) uniká každou škárou a zachytáva prach na prednom filtri; podtlak ťahá nefiltrovaný vzduch každým spojom. Kentino 4U je zámerne mierne pretlakové — tri nasávacie, jeden zadný výfuk plus výfuk zdroja. Na filtroch záleží: z 50% zanesený nasávací filter zníži prietok vzduchu v šasi o 30–40%. V kancelárii kontrolujte každých 90 dní, v laboratóriu každých 30. Väčšina hlásení typu „server sa po pol roku zohrial“ sú problémy s filtrom, nie degradácia kremíka.

Káble vo vzduchovom stĺpci medzi prednou a zadnou stranou sú najpodceňovanejším tepelným problémom multi-GPU zostáv. Zväzok 24-pin ATX prehodený cez nasávaciu stranu GPU 4 zníži efektívne prúdenie na tej karte o 25–40% a pridá jej oproti ostatným 5–8 °C. Napájanie aj EPS veďte za nosným plechom základnej dosky, nikdy nie cez vzduchový stĺpec; žiadny kábel pred polovicou GPU. W04 vysvetľuje, prečo rozdelené napájanie z dvoch zdrojov toto pri 4-GPU zostave fyzicky uľahčuje — na každú stranu pripadá polovica kabeláže. Voľba dvoch zdrojov je rovnako tepelná ako elektrická.

Rozostupy v racku a horúci výfuk

4U pri 2.4 kW tlačí výfuk 35–45 °C pri 100+ CFM; 8U pri 5 kW tlačí 40–50 °C pri 200+ CFM. Záslepky do nevyužitých U pozícií sú v každom uzavretom racku povinné — bez nich sa horúci výfuk vracia do nasávania zo studenej uličky. Najhorší prípad sú zatvorené skrine pritlačené k stene: horné jednotky sú o 8–12 °C teplejšie než spodné. Jedno prázdne U nad a pod každým multi-GPU serverom v nekontajnovaných rackoch získa 5–8 °C rezervy na nasávaní. Uzavretie horúcej uličky má zmysel pri štyroch rackoch, pri jedinom racku je zbytočné.

Reálne merania — 4-GPU a 8-GPU pod trvalou záťažou

Interné testy Kentino, inferencia vLLM 70B Q4, 30-minútový ustálený stav, miestnosť 22 °C ± 1 °C.

Zostava Nasávanie GPU edge CPU edge Výfuk Throttling
4× RTX 5090 (4U, EPYC 9354) 23 °C 76–84 °C 68 °C 41 °C Nie
8× RTX 5090 (8U, 2× EPYC 9554) 24 °C 78–86 °C 70–72 °C 46 °C Na hrane
4× Pro 6000 Workstation (4U) 23 °C 71–77 °C 67 °C 43 °C Nie

Zostava 4× 5090 je návrhovým cieľom — rozptyl 8 °C naprieč bankou kariet, boost držaný do 30 MHz od nominálu. Zostava 8× 5090 je bližšie k limitu; GPU 8 pri 86 °C je presne tam, kde sa začína znižovať strop boostu. V miestnostiach teplejších než 24 °C začína zostava 8× 5090 strácať boost na zadných kartách — 8-GPU konfigurácia je tá, pri ktorej sa teplota v inštalačnej miestnosti stáva plnohodnotným parametrom zostavy. Zostava 4× Pro 6000 Workstation beží pri rovnakom odbere zo siete chladnejšie, pretože tvrdý strop 600 W a priebežný chladič s dvojitým prietokom dávajú predvídateľnejšiu obálku než spotrebiteľský dizajn 5090 s prechodovými špičkami.

Horúce miesta mimo čipu GPU

Číslo, ktoré hlási nvidia-smi, pochádza z edge senzora — podľa karty ide o okraj pamäte GDDR alebo okraj kremíka. Nie je to najhorúcejšie miesto v šasi. Dôležité sú ďalšie tri miesta:

VRM bežia pod trvalou záťažou zvyčajne o 10–20 °C teplejšie než čip, so stropom okolo 110 °C. Na 5090 pri 575 W ukazuje telemetria dosky teploty VRM v pásme 85–95 °C. Karty so slabým chladením VRM začnú throttlovať podľa teploty VRM skôr než podľa kremíka — pre nvidia-smi --query-gpu=temperature.gpuje to neviditeľné a prejaví sa to len nevysvetlenou stratou taktov. Ak karta na senzore GPU beží chladne, ale stráca boost, podozrenie padá na VRM.

Pamäť GDDR7 na 5090 beží horúco. Trvalá inferencia s veľkým objemom aktivácií vyženie teplotu prechodu pamäte na 95–100 °C. Karta najprv zníži takt pamäte (strata 3–5% šírky pásma), až potom takt GPU. Pri workloadoch limitovaných pamäťou je úzkym hrdlom teplota pamäte, nie jadra.

NVMe SSD sú tichým zabijakom. Disk PCIe 5.0 pri trvalom čítaní (načítanie váh 70B modelu, streamovanie datasetu) dosiahne bez aktívneho chladenia 70–80 °C v priebehu sekúnd. Nad ~75 °C začne radič throttlovať a šírka pásma pri čítaní klesne na polovicu. Načítanie modelu, ktoré „má trvať 8 sekúnd“, trvá 16 a nikto nevie prečo. Každá zostava Kentino AI sa dodáva s NVMe diskami s chladičmi umiestnenými v dráhe prúdenia vzduchu v šasi.

Na monitorovanie všetkého podstatného v produkcii:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

Pri NVMe nástroj nvme smart-log /dev/nvme0 hlási teplotu radiča aj kompozitnú teplotu; alarm nastavte na 70 °C kompozitnej. Teplota VRM je na kartách Pro 6000 dostupná cez DCGM (dcgm-exporter pre Prometheus); na spotrebiteľských kartách závisí od výrobcu dosky a často ju ukážu len nástroje pre Windows — jeden z viacerých dôvodov, prečo v dlhodobej produkcii uprednostňujeme workstation karty.

Teplota okolia a obálka ASHRAE

ASHRAE TC9.9 definuje tepelné obálky, ktorými sa riadi návrh dátových centier. Trieda A1 (kolokácia tier-1) odporúča vstupnú teplotu 18–27 °C; trieda A2 (bežný podnik) rozširuje prípustné pásmo na 10–35 °C. Rad Kentino AI je navrhnutý na A2, obálka bez throttlingu pre šasi so 4× alebo 8× 5090 však leží vnútri A1: návrhovým bodom je nasávanie 22 °C, praktickým stropom pred začiatkom straty boostu 26 °C. Záleží aj na vlhkosti: ASHRAE odporúča 20–80% bez kondenzácie. Celoročne mierte na 40–60% RH.

Zostava Odporúčaná teplota okolia Strop (bez throttlingu) Tvrdý strop (akýkoľvek throttling)
4× 4090 18–24 °C 26 °C 30 °C
4× 5090 18–22 °C 24 °C 28 °C
4× Pro 6000 18–25 °C 27 °C 32 °C
8× 5090 18–22 °C 23 °C 26 °C
8× Pro 6000 18–24 °C 25 °C 29 °C
8× L40 18–26 °C 28 °C 32 °C
8× L4 18–28 °C 30 °C 35 °C

Čísla pri L40 a L4 sú dôvodom, prečo tieto karty zostávajú zaujímavé pre nasadenie v kanceláriách: znesú bežnú kancelársku klimatizáciu. Zostava s 8 GPU 5090 potrebuje serverovňu alebo komoru s vyhradeným chladením, bodka.

Dimenzovanie klimatizácie v jednom odseku

Chladiaca záťaž miestnosti sa rovná trvalému odberu zo siete: 1 kW = 3,412 BTU/hr. 4-GPU server s 2.4 kW je ~8,200 BTU/hr; 8-GPU server so 4.5 kW je ~15,400 BTU/hr. Klimatizáciu dimenzujte na 1.3× ustálenej záťaže — rovnaké pravidlo rezervy ako pri zdrojoch. Split s 12,000 BTU na 2.4 kW serveri beží so 100% pracovným cyklom a zabije kompresor za 18–30 mesiacov; jednotka s 24,000 BTU pri rovnakej záťaži beží na 50% a vydrží 8–10 rokov. Presné (CRAC) chladenie začína dávať zmysel nad 10 kW; pod touto hranicou prácu zvládne správne nadimenzovaný split.

Formát: 4U rack, 8U rack, Tower

Rad Kentino AI používa tri: 4U rack pre 4-GPU zostavy (3× 120 mm nasávanie, 1× zadný, dva ATX zdroje, 19-palcový rack), 8U rack pre 8-GPU zostavy (priemyselné serverové ventilátory, napájanie CRPS, dvojpaticová základná doska, zhruba dvojnásobná hustota tepla oproti 4U), a Tower workstation pre vývojárske stroje s 1 a 2 GPU (PWM ventilátory, vhodné do kancelárie). Nad 2 GPU towery nedodávame — 4-GPU vertikálne šasi dosiahne na vrchnej karte 90 °C edge do 20 minút trvalej záťaže. Rovnaký hardvér v 4U racku zostane pod 85 °C neobmedzene dlho.

Kvapalinové chladenie — kedy a prečo

Vzduch v dobre navrhnutom 4U zvládne ~600 W na GPU; nad touto hranicou je odpoveďou kvapalina. AIO na každú kartu zníži edge teplotu GPU o 15–25 °C, pridá však o rád vyššiu zložitosť a nové režimy zlyhania — poruchu čerpadla a tiché odparovanie chladiva. Direct-to-chip s výmenníkom na zadnej strane racku napojeným na chladenú vodu budovy je správnou odpoveďou pri 16+ GPU na klaster. Imerzia v dielektrickej kvapaline je efektívna, drahá a úplne mení model servisovateľnosti.

Pre súčasný rad Kentino — vzduchom chladené šasi do 600 W na kartu — je správnou odpoveďou vzduch. Zostava 4× 5090 beží na 78–84 °C edge bez akéhokoľvek throttlingu, 24/7, pri studenej uličke s 22 °C. Kvapalina by to stiahla na 55–65 °C a získala pár percent taktu boostu; rozdiel v investícii a zložitosti to v tejto mierke neospravedlňuje.

Čo ďalej — kontrolný zoznam tepelného monitoringu

Ak dimenzujete tepelnú stránku zostavy alebo miestnosti, kde bude nasadená:

  1. Aká je teplota studenej uličky v inštalačnej miestnosti? Merajte pri reálnej záťaži, nie v nedeľu s naplno bežiacou klimatizáciou. Porovnajte s tabuľkou teplôt okolia vyššie.
  2. Je chladenie miestnosti dimenzované na 1.3× odberu servera? Klimatizácia dimenzovaná presne na záťaž beží so 100% pracovným cyklom a zlyhá do dvoch rokov.
  3. Kam ide horúci výfuk? Otvorený rack s horúcou uličkou je v poriadku; uzavretá skriňa bez kontajnmentu alebo komora so serverom otočeným k stene nie je.
  4. Aký je pracovný cyklus? Vývojársky stroj na 30% záťaže má iné nároky na chladenie než inferenčný server bežiaci 24/7.
  5. Je naplánovaná údržba filtrov a rast? Zanesený filter potichu zníži prúdenie na polovicu; druhý server zdvojnásobí tepelnú záťaž. Naplánujte oboje.
  6. Beží telemetria? nvidia-smi s intervalom 5 s pre edge teplotu GPU / pamäť / takty / príkon, nvme smart-log pre disky, DCGM pre VRM tam, kde je dostupné, a teplotu aj vlhkosť miestnosti v monitorovacom stacku s alarmami pri 27 °C a mimo pásma 40–60% RH.

Návrh na úrovni šasi — prúdenie spredu dozadu, priemyselné 120 mm ventilátory, blower alebo pasívne GPU, disciplinovaná kabeláž — je predvolenou súčasťou každej zostavy Kentino AI. Miestnosť a rack sú na strane zákazníka a práve tam vzniká väčšina problémov v teréne.

W06 (ďalší diel W-série) sa venuje úrovniam úložiska — rozloženiu NVMe, SAS a kapacitných poolov, ktoré sa k týmto výpočtovým šasi hodia.


Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy uvítame na info@kentino.com.