Termika i przepływ powietrza w serwerach AI z wieloma GPU

Serwer AI z wieloma GPU to pod względem cieplnym przemysłowy grzejnik, który przy okazji liczy. Obudowa z 4× RTX 5090 pod stałym obciążeniem oddaje bez przerwy 2.4 kW ciepła; wersja z 8× 5090 — 5 kW. Nic z tego nie zniknie samo — ciepło ląduje na rdzeniu GPU, sekcjach zasilania, kościach pamięci, a stamtąd trafia w powietrze, które obudowa zdoła wypchnąć do tyłu. Jeśli przepływ powietrza nie nadąża za watami, krzem zaczyna się throttlować, a throttling na serwerze inferencyjnym podwaja opóźnienie tokenów i po cichu obcina przepustowość o połowę. Większość historii o tym, że „serwer GPU zwolnił”, dotyczy termiki, nie oprogramowania. To jest strona przepływu powietrza, uzupełniająca W04 o zasilaniu.

Ciepło to po prostu moc, opisana inaczej

Każdy wat dostarczony do GPU wychodzi z niego jako ciepło — karta nie wykonuje pracy mechanicznej, więc nie ma tu żadnego współczynnika sprawności. TDP, pod które projektujemy:

Dwie uwagi istotne przy decyzjach konstrukcyjnych. NVIDIA podniosła próg throttlingu edge w 5090 do ok. 90 °C (z 83 °C w 4090) — układ dłużej utrzymuje pełne zegary przy tym samym przepływie powietrza, ale krzem pracuje cieplej, co ma znaczenie przy wdrożeniach 24/7. Karty do stacji roboczych i karty datacenter (Pro 6000, L40, L4) sztywno trzymają się deklarowanego TDP — nie boostują powyżej limitu. Karty konsumenckie potrafią skoczyć wyżej. Linię workstation chłodzi się przewidywalniej; linię konsumencką łatwiej przypadkiem przeciążyć.

Progi throttlingu i ich koszt

Throttling to gradient, a nie przełącznik. Na krzemie klasy Blackwell:

Obciążenie inferencyjne na 5090, które na zimno bierze 590 W, spada do ok. 510 W, gdy czujnik edge przekroczy 90 °C — to 15% straconych tokenów na sekundę przy obciążeniu vLLM 70B, czyli różnica między dotrzymaniem SLO a jego złamaniem. Świeżo włączona karta dochodzi do pierwszego progu throttlingu po 60–120 s stałego obciążenia; benchmarki krótsze niż 5 minut zawyżają przepustowość ciągłą o 10–20%, co jest jedną z najczęstszych przyczyn rozjazdu publikowanych liczb z rzeczywistością produkcyjną.

Przepływ powietrza przód–tył w racku — jedyna rozsądna architektura dla pracy 24/7

Topologie chłodzenia GPU dzielą się na otwarte / wieżowo-osiowe (konsumenckie karty gamingowe, wydmuch do wnętrza obudowy), blower / promieniowe (karty referencyjne, wydmuch przez śledź I/O) oraz pasywne karty datacenter (L4, L40 — bez wentylatora, powietrze przez radiator przepychają wentylatory obudowy). W konfiguracji z 4 lub 8 GPU pracującej 24/7 w gęstej obudowie sprawdzają się wyłącznie topologie blower i pasywne. W obudowie 4U z kartami ułożonymi jedna nad drugą konstrukcja otwarta wydmuchuje ciepło wprost na wlot karty powyżej; górna karta siedzi w powietrzu o temperaturze 50–60 °C i throttluje się w ciągu kilku minut.

Obudowy Kentino 4U i 8U wykorzystują przemysłowy przepływ powietrza przód–tył z wentylatorami 120 mm wytwarzającymi wysokie ciśnienie statyczne na GPU. Karty są typu blower, pasywne albo aktywnie kierowane kanałami powietrznymi obudowy. To sama obudowa jest chłodnicą.

Przepływ powietrza przód–tył w racku: wlot z zimnej strefy → GPU w kolumnie przepływu → wydmuch do gorącej strefy. To właśnie utrzymuje karty 5090 poniżej 85 °C przy wlocie 22 °C.

Ciśnienie statyczne a przepływ CFM

Karty katalogowe wentylatorów podają przepływ (CFM) i ciśnienie statyczne (mm H2O). W otwartej obudowie decyduje CFM; w obudowie 4U z gęstymi radiatorami, riserami, wiązkami kabli i pasywnymi radiatorami GPU na drodze powietrza decyduje ciśnienie statyczne. Typowy konsumencki wentylator 120 mm ma 70 CFM przy 1.2 mm H2O; przemysłowy wentylator serwerowy 120 mm (Delta, Sanyo Denki, Nidec, San Ace) — 110 CFM przy 8–12 mm H2O. Różnica w CFM to 60%, w ciśnieniu statycznym 7–10×. W obudowie o gęstym rozstawie lameli wentylator konsumencki daje może 20 CFM realnego przepływu, przemysłowy — 80–90. Dlatego obudowy Kentino AI są głośne (55–62 dBA przy froncie racka) i ich miejsce jest w racku lub w wydzielonym pomieszczeniu, a nie na biurku.

Zasady: ok. 40–50 CFM przepływu przez obudowę na każdy kW ciepła z GPU; ciśnienie statyczne na wlocie ≥ 5 mm H2O; chłodzenie CPU musi być wieżowe, przód–tył, a nie typu top-flow.

Ciśnienie, filtry i prowadzenie kabli

Ciśnienie w obudowie to różnica między CFM wlotu a CFM wydmuchu. Dodatnie (więcej na wlocie) wypycha powietrze każdą szczeliną i zatrzymuje kurz na filtrze frontowym; ujemne zasysa nieprzefiltrowane powietrze każdym stykiem. Kentino 4U ma z założenia lekko dodatnie — trzy wentylatory wlotowe, jeden tylny wydmuch plus wydmuch zasilacza. Filtry mają znaczenie: filtr wlotowy zapchany w 50% obniża przepływ w obudowie o 30–40%. W biurze przegląd co 90 dni, w laboratorium co 30. Większość zgłoszeń w stylu „serwer po pół roku zrobił się cieplejszy” to kwestia filtrów, a nie degradacji krzemu.

Kable w kolumnie powietrza przód–tył to najbardziej niedoceniany problem termiczny w konstrukcjach z wieloma GPU. Wiązka 24-pin ATX przerzucona przez stronę wlotową GPU 4 obcina efektywny przepływ tej karty o 25–40% i dokłada 5–8 °C względem sąsiadów. Zasilanie i EPS należy prowadzić za tacą płyty głównej, nigdy w poprzek kolumny powietrza; żadnego kabla przed połową długości GPU. W04 wyjaśnia, dlaczego rozdzielenie zasilania na dwa zasilacze fizycznie ułatwia to zadanie przy 4 GPU — o połowę mniej kabli na stronę. Wybór dwóch zasilaczy jest decyzją w równym stopniu termiczną, co elektryczną.

Rozstaw U w racku i gorący wydmuch

Obudowa 4U przy 2.4 kW wypycha wydmuch o temperaturze 35–45 °C z wydajnością ponad 100 CFM; 8U przy 5 kW — 40–50 °C przy ponad 200 CFM. Panele zaślepiające w nieużywanych slotach U są w każdym zamkniętym racku obowiązkowe — bez nich gorący wydmuch wraca na wlot zimnej strefy. Najgorszy przypadek to zamknięte szafy dostawione do ściany: urządzenia u góry pracują o 8–12 °C cieplej niż te na dole. Jedno puste U nad i pod każdym serwerem wielo-GPU w racku bez zabudowy daje 5–8 °C zapasu na wlocie. Zabudowa gorącej strefy ma sens przy czterech rackach, przy jednym to przerost formy.

Realne pomiary — 4 i 8 GPU pod stałym obciążeniem

Wewnętrzne testy Kentino, inferencja vLLM 70B Q4, 30 minut stanu ustalonego, pomieszczenie 22 °C ± 1 °C.

Konfiguracja 4× 5090 to cel projektowy — 8 °C rozrzutu w całym zestawie, boost utrzymany w granicach 30 MHz od nominału. Wersja 8× 5090 siedzi bliżej limitu; GPU 8 przy 86 °C jest na granicy, od której zaczyna działać ograniczenie boostu. W pomieszczeniach cieplejszych niż 24 °C konfiguracja 8× 5090 zaczyna tracić boost na najdalszych kartach — przy ośmiu GPU temperatura otoczenia w serwerowni staje się pełnoprawnym parametrem konstrukcyjnym. Zestaw 4× Pro 6000 Workstation pracuje chłodniej przy tym samym poborze z gniazda, bo twardy limit 600 W i chłodzenie z podwójnym przelotem dają bardziej przewidywalną kopertę cieplną niż konsumencka konstrukcja 5090 ze skokami chwilowymi.

Gorące punkty poza rdzeniem GPU

Liczba raportowana przez nvidia-smi pochodzi z czujnika edge — krawędzi pamięci GDDR albo krzemu, zależnie od karty. To nie jest najgorętszy element w obudowie. Znaczenie mają trzy inne miejsca:

Sekcje zasilania (VRM) pracują pod stałym obciążeniem zwykle o 10–20 °C cieplej niż rdzeń, z pułapem w okolicach 110 °C. Na 5090 przy 575 W telemetria płyty pokazuje temperatury VRM w zakresie 85–95 °C. Karty ze słabym chłodzeniem sekcji zasilania throttlują się od temperatury VRM wcześniej niż od krzemu — co jest niewidoczne dla nvidia-smi --query-gpu=temperature.gpu, a objawia się jedynie niewyjaśnionym spadkiem zegarów. Jeśli karta jest chłodna na czujniku GPU, a traci boost, podejrzenie pada na VRM.

Pamięć GDDR7 w 5090 pracuje gorąco. Stała inferencja z dużym ruchem aktywacji podnosi temperaturę złącza pamięci do 95–100 °C. Karta throttluje najpierw zegar pamięci (strata 3–5% przepustowości), potem zegar GPU. Przy obciążeniach ograniczonych pamięcią wąskim gardłem jest temperatura pamięci, a nie rdzenia.

Dyski NVMe SSD to cichy zabójca. Dysk PCIe 5.0 przy ciągłym odczycie (ładowanie wag modelu 70B, strumieniowanie zbioru danych) bez aktywnego chłodzenia osiąga 70–80 °C w kilka sekund. Powyżej ok. 75 °C kontroler throttluje i przepustowość odczytu spada o połowę. Ładowanie modelu, które „powinno zająć 8 sekund”, zajmuje 16 i nikt nie wie dlaczego. Każda konfiguracja Kentino AI jest dostarczana z dyskami NVMe wyposażonymi w radiatory umieszczone w torze powietrza obudowy.

Aby monitorować w produkcji wszystko, co istotne:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

W przypadku NVMe polecenie nvme smart-log /dev/nvme0 raportuje temperaturę kontrolera i temperaturę złożoną; alarm przy 70 °C dla złożonej. Temperatura VRM jest na kartach Pro 6000 udostępniana przez DCGM (dcgm-exporter dla Prometheusa); na kartach konsumenckich zależy od producenta płyty i często widać ją tylko w narzędziach windowsowych — to jeden z kilku powodów, dla których w długotrwałej produkcji wolimy karty workstation.

Temperatura otoczenia a koperta ASHRAE

ASHRAE TC9.9 definiuje koperty cieplne, według których projektuje się centra danych. Klasa A1 (kolokacja tier-1) zaleca wlot 18–27 °C; klasa A2 (ogólna klasa korporacyjna) rozszerza dopuszczalny zakres do 10–35 °C. Linia Kentino AI jest projektowana pod A2, ale koperta bez throttlingu dla obudowy 4× lub 8× 5090 mieści się wewnątrz A1: 22 °C na wlocie to punkt projektowy, 26 °C to praktyczny pułap, powyżej którego zaczyna się strata boostu. Wilgotność też ma znaczenie: ASHRAE zaleca 20–80% bez kondensacji. Warto celować w 40–60% RH przez cały rok.

Liczby dla L40 i L4 pokazują, dlaczego te karty pozostają ciekawe przy wdrożeniach biurowych: tolerują zwykłą klimatyzację biurową. Konfiguracja 8 × 5090 wymaga serwerowni albo wydzielonego pomieszczenia z własnym chłodzeniem — i tu nie ma wyjątków.

Dobór klimatyzacji w jednym akapicie

Obciążenie chłodnicze pomieszczenia równa się stałemu poborowi z gniazda: 1 kW = 3,412 BTU/hr. Serwer z 4 GPU o mocy 2.4 kW to ok. 8,200 BTU/hr; serwer z 8 GPU o mocy 4.5 kW to ok. 15,400 BTU/hr. Klimatyzację dobiera się na 1.3× obciążenia w stanie ustalonym — ta sama zasada zapasu, co przy zasilaczach. Split 12,000 BTU przy serwerze 2.4 kW pracuje ze 100-procentowym cyklem roboczym i zabija sprężarkę w 18–30 miesięcy; jednostka 24,000 BTU przy tym samym obciążeniu pracuje na 50% i wytrzymuje 8–10 lat. Chłodzenie precyzyjne (CRAC) zaczyna mieć sens powyżej 10 kW; poniżej wystarczy prawidłowo dobrany split.

Format obudowy: rack 4U, rack 8U, tower

Linia Kentino AI korzysta z trzech formatów: rack 4U przy konfiguracjach 4-GPU (3× wlot 120 mm, 1× tył, dwa zasilacze ATX, rack 19 cali), rack 8U przy konfiguracjach 8-GPU (przemysłowe wentylatory serwerowe, zasilanie CRPS, płyta dwuprocesorowa, mniej więcej podwójna gęstość cieplna względem 4U) oraz stacja robocza Tower przy maszynach deweloperskich z 1 lub 2 GPU (wentylatory PWM, przyjazne biuru). Powyżej 2 GPU nie dostarczamy obudów Tower — pionowa obudowa z 4 GPU osiąga na górnej karcie 90 °C edge w ciągu 20 minut stałego obciążenia. Ten sam sprzęt w racku 4U utrzymuje się bezterminowo poniżej 85 °C.

Chłodzenie cieczą — kiedy i po co

Powietrze radzi sobie z ok. 600 W na GPU w dobrze zaprojektowanej obudowie 4U; powyżej tej granicy odpowiedzią jest ciecz. AIO na każdą kartę obniża temperaturę edge o 15–25 °C, ale dokłada o rząd wielkości więcej złożoności, a do listy awarii dochodzą uszkodzenie pompy i niezauważone odparowanie płynu. Rozwiązaniem właściwym przy 16 i więcej GPU na klaster jest direct-to-chip z wymiennikiem z tyłu racka podpiętym do wody lodowej obiektu. Zanurzenie w cieczy dielektrycznej jest wydajne, drogie i całkowicie zmienia model serwisowania.

Dla obecnej linii Kentino — obudowy chłodzone powietrzem do 600 W na kartę — właściwą odpowiedzią jest powietrze. Konfiguracja 4× 5090 pracuje przy 78–84 °C edge bez cienia throttlingu, 24/7, przy zimnej strefie 22 °C. Ciecz zbiłaby to do 55–65 °C i dołożyła kilka procent zegara boost; różnica w nakładach i złożoności nie uzasadnia tego przy tej skali.

To część Kentino Wiki, serii referencyjnej o obliczeniach AI, robotyce i systemach, które je łączą. Komentarze i poprawki mile widziane pod adresem info@kentino.com.