Typy PDU pro racky AI serverů: Basic, Metered, Switched, ATS

Jednotka pro distribuci napájení (PDU) je ta nejnudnější věc v racku a zároveň ta, které začnete litovat jako první. AI server se čtyřmi GPU odebírá trvale 1.8–2.4 kW, uzel s osmi GPU 3.5–4.5 kW. Při takových číslech už PDU není „ta věc, do které se server zapojuje“ — je to měřidlo, mapa jističů, tlačítko vzdáleného restartu a ve zlý den jediné, co Vám prozradí, která zásuvka se taví.

Tenhle článek projde celý žebříček PDU od hloupé prodlužky až po inteligentní jednotku se dvěma zdroji napájení, s poctivými cenami, s tím, co která úroveň přináší, a s tím, kde se u AI výpočtů láme křivka ceny versus bolesti. Nezávisle na značkách.

Jednotlivé úrovně v jedné tabulce

Správnou odpovědí pro jakýkoliv AI rack se dvěma a více výpočetními uzly je switched + outlet-metered. Níže to obhájíme.

Basic PDU — hloupá prodlužka

Prodlužka do racku. Fáze, nula, zem, řada zásuvek, někdy jistič na každou sekci. Žádný displej, žádný síťový port, žádná logika. Jeden vstup (konektor C20 nebo pevně připojená vidlice), šest až dvacet čtyři zásuvek v kombinaci C13 a C19, a máte-li štěstí, kontrolka napájení.

Co nedostanete: žádný přehled o tom, kolik proudu odebírá kterákoliv jednotlivá zásuvka — ani celá jednotka. Žádný vzdálený restart. Žádné napojení na monitoring. Když se server zasekne a Vy jste 200 km daleko, voláte někomu, kdo má klíč od racku.

Basic je v pořádku pro laboratorní stůl pod Vaším pracovním místem nebo pro jeden vývojový uzel v malé kanceláři, kde vidíte na kontrolky a dosáhnete na vidlici. Je to špatná odpověď pro jakýkoliv produkční AI server, pro jakýkoliv rack, ke kterému se nedostanete do 30 minut, a pro jakýkoliv rack s více než dvěma výpočetními uzly. Rozdíl mezi basic (€100) a metered (€400) je proti ceně jedné GPU zanedbatelný; kupte si minimálně metered.

Metered PDU — souhrnný přehled bez detailu po zásuvkách

Metered PDU přidává lokální displej se vstupním proudem, napětím a obvykle i výkonem (kW) a spotřebou (kWh). U třífázových jednotek ukazuje hodnoty pro každou fázi. Lepší jednotky tatáž data vystavují přes SNMP, Modbus TCP nebo HTTP.

Co stále nedostanete: proud na jednotlivých zásuvkách. Vidíte, že rack odebírá 18 A. Nevidíte, jestli zásuvka 4 odebírá 9 A a zásuvka 5 jen 0.5 A, nebo jestli obě berou 4.75 A. U heterogenního AI racku na tom záleží. Nedostanete ani ovládání zásuvek — ty jsou zapnuté vždy, když je jednotka pod napětím.

Tahle úroveň je poctivou hodnotou pro jednoúčelový rack s jedním nebo dvěma GPU servery a switchem, kde je zátěž předvídatelná a Vy potřebujete jen vědět, „jestli nejsme blízko vybavení jističe“. Přeskočte ji a jděte rovnou na outlet-metered, pokud máte víc než dva GPU uzly, jakoukoliv povinnost přeúčtovávat spotřebu, nebo profil zátěže, který se na téže zásuvce prudce mění mezi tréninkem a inferencí.

Outlet-metered PDU — měření na každé zásuvce, základ pro AI

Proud, napětí, výkon a spotřeba na každé zásuvce. Malý měřicí transformátor nebo bočník na každé zásuvce, vzorkovaný mnohokrát za sekundu. Stejné vystavení přes SNMP / Modbus / HTTP jako u metered, navíc s OID pro jednotlivé zásuvky.

U AI výpočtů je tohle první úroveň, která Vám dá data, jež skutečně potřebujete. Vidíte, který GPU server kolik odebírá — když tým spustí trénink a vstup racku vyleze z 24 A na 30 A, okamžitě víte, že za to může uzel s 8× 5090. Účiník na jednotlivé zásuvce odhalí stárnoucí nebo poddimenzovaný zdroj dřív, než selže. Čítače kWh po zásuvkách umožní poctivé přeúčtování. Alarmy na zásuvkách (např. 12 A na C13, tedy 80 % jmenovité hodnoty) zachytí plíživý nárůst dřív, než vybaví nadřazený jistič.

Co stále nemůžete: vzdáleně restartovat zaseknutý server. Zásuvka je měřená, ale pořád pod napětím.

Jednotky outlet-metered se pohybují na €700–1200 — mezi metered (€400) a switched-metered (€1500+). Pokud jste si jisti, že vzdálené ovládání zásuvek nikdy potřebovat nebudete, je tohle obhajitelná zastávka. V praxi ale většina AI racků chce obojí.

Switched PDU — vzdálené ovládání zásuvek

Switched PDU přidává za každou zásuvku relé (mechanické nebo polovodičové). Zásuvku můžete zapnout, vypnout nebo restartovat (vypnout na N sekund a zase zapnout) přes HTTP, SNMP set nebo aplikaci výrobce. Souhrnné měření je stejné jako u metered PDU; měření po zásuvkách tu není.

Zabijáckou funkcí je restart bez výjezdu technika. Počet případů, kdy trénovací AI úloha zasekla server natolik, že nereagovalo ani IPMI, není nulový. Switched PDU je poslední způsob, jak mašinu vypnout a zapnout, aniž byste tam někoho posílali. Druhotná využití: programovatelné postupné spouštění po výpadku UPS (aby se všechny servery nerozběhly v jeden okamžik) a plánované zapínání a vypínání laboratorní techniky.

Co bez doplnění o outlet-metered nedostanete: jakýkoliv způsob, jak ověřit, že na zásuvce po zapnutí skutečně je zátěž. PDU Vám řekne, že relé sepnulo; neřekne Vám, že server odebírá proud. Pro sebejistý vzdálený restart opravdu chcete oba stavy.

Switched + outlet-metered — ideál pro AI provoz

Měření i vzdálené ovládání na každé zásuvce v jedné jednotce. Tohle je správná odpověď pro jakýkoliv produkční AI rack:

1. Odběr každé zásuvky ve Vašem monitoringu vedle příkonu GPU, teploty v místnosti a napájecích větví zdrojů. Anomálie vyplavou v jednom dashboardu.
2. Vzdálený restart s uzavřenou smyčkou. Vypnete relé, sledujete, jak proud klesne na nulu, počkáte pět sekund, zapnete relé a sledujete, jak se proud vrátí na očekávaný klid.
3. Včasné varování před přehřátím. Pokud zásuvka 4 začne odebírat 2.6 kW tam, kde běžně v klidu bere 1.7 kW, alarm se spustí dřív, než to klimatizace vzdá.
4. Skutečné přeúčtování s kWh na zásuvku a časovými razítky z NTP.

Cena: €1500–3000 za 24zásuvkovou vertikální 0U jednotku. Méně než jedna RTX 5090. V racku, kde jsou GPU za €30k a víc, tohle není položka, na které se šetří.

Pokud se k racku nedostanete fyzicky — kolokace, vzdálená pobočka, budova s omezeným přístupem — switched POTŘEBUJETE. Jediný ušetřený noční výjezd ten rozdíl pokryje.

ATS PDU — přepínání mezi dvěma zdroji napájení

ATS PDU (Automatic Transfer Switch) má dva přívodní kabely ze dvou různých zdrojů a napájí jednu sadu zásuvek z toho vstupu, který je právě v pořádku. Když primární zdroj poklesne nebo vypadne, ATS přepne na sekundární během 8–16 ms. Zařízení za ním zaznamenají jen krátké zakolísání.

ATS PDU jsou určené pro zařízení s jedním přívodem, které potřebuje redundanci zdroje. Moderní servery se dvěma zdroji ATS nepotřebují — každý zdroj zapojíte do jiné PDU na jiném přívodu a server si přepnutí vyřeší sám. K ATS saháte tehdy, když je v racku technika s jedním přívodem — většina síťových switchů, KVM, menší diskové jednotky — a Vy si nemůžete dovolit, aby zdroj vypadl.

ATS Vám nedává zálohu z baterie; když selžou oba zdroje, selže ATS s nimi. Minimálně před jedním zdrojem stále chcete UPS. Nechrání ani proti zkratům za jednotkou — vadná zásuvka vybaví jistič tak jako tak.

Vyplatí se u smíšeného racku, kde jsou servery se dvěma zdroji i zařízení s jedním. Zbytečný přepych je v racku, kde má všechno dva zdroje (stačí dvě nezávislé PDU), nebo v laborce, kde je krátký výpadek otravný, ale ne kritický.

Distribuce napájení u třífázových PDU

Jakmile rack překročí zhruba 5 kW trvalého odběru, jednofázových 16 A (3.7 kW) je málo a 32 A (7.4 kW) je už na hraně. Standardní odpovědí je třífázová PDU na vidlici IEC 60309 32 A 3P+N+E (červená, 400 V sdružené / 230 V fázové).

P_max = √3 × V_LL × I × PF
      = 1.732 × 400 V × 32 A × 1.0
      ≈ 22.2 kVA  (přibližně 22 kW při jednotkovém účiníku)

Evropské předpisy snižují trvalou zátěž na 80 % jmenovité hodnoty jističe, takže využitelný trvalý odběr je spíš 17–18 kW. Na čtyři uzly se čtyřmi GPU plus síťovou techniku to pohodlně stačí.

Uvnitř se tři fáze (L1, L2, L3) rozdělují mezi zásuvky jedním ze dvou způsobů. Fáze po skupinách (zásuvky 1–8 na L1, 9–16 na L2, 17–24 na L3) je jednoduchá, ale hrozí nevyvážením, pokud Vám všechna silně zatížená technika skončí v jedné skupině. Prokládání fází (zásuvky 1/4/7 na L1, 2/5/8 na L2, 3/6/9 na L3) dává sousedním zásuvkám různé fáze, takže servery namontované pod sebou se přirozeně rozloží mezi fáze. Většina moderních inteligentních PDU prokládá fáze ve výchozím nastavení.

Příklad zapojení třífázové 32A PDU napájející AI rack se čtyřmi uzly:

Vstup: IEC 60309 32A 3P+N+E (červená, 400/230V)
       L1 — 32A   L2 — 32A   L3 — 32A   N   PE

Uvnitř: hydraulicko-magnetický jistič 32A na každou fázi
        relé + měřicí transformátor na každou zásuvku (switched + outlet-metered)
        prokládané fáze na zásuvkách

Zásuvky (celkem 24, 12× C19 + 12× C13, vertikální 0U):

  1  (L1, C19)  Uzel A zdroj 1  (8× 5090,  ~4.0 kW)
  2  (L2, C19)  Uzel A zdroj 2  (týž uzel, dělené napájení)
  3  (L3, C19)  Uzel B zdroj 1  (4× Pro 6000, ~2.2 kW)
  4  (L1, C19)  Uzel B zdroj 2
  5  (L2, C19)  Uzel C zdroj 1  (4× 5090, ~2.0 kW)
  6  (L3, C19)  Uzel C zdroj 2
  7  (L1, C19)  Uzel D zdroj 1  (4× 5090, ~2.0 kW)
  8  (L2, C19)  Uzel D zdroj 2
  9  (L3, C13)  ToR switch (~80 W)
  10 (L1, C13)  Mgmt switch (~30 W)
  11 (L2, C13)  KVM-over-IP (~20 W)
  12 (L3, C13)  Řídicí/jump host (~150 W)
  13–24         Rezerva / pomocné

Zátěž na fázi (všechny uzly na ~80 % trvale):
  L1 ≈ 4.1 kW / 17.8 A
  L2 ≈ 4.0 kW / 17.4 A
  L3 ≈ 2.4 kW / 10.4 A

Důležité jsou tu dvě věci. Zaprvé, prokládání fází odvede většinu vyvažování samo. Zadruhé, uzly se dvěma zdroji v režimu děleného napájení mají své dva přívody záměrně na různých fázích. U každého AI serveru se dvěma zdroji v konfiguraci děleného napájení zapojte každý zdroj do jiné fáze — půlí to proud na fázi a zlepšuje rezervu. („Dělené napájení“ je náš termín z produktových textů: dva zdroje, z nichž každý nese polovinu zátěže, nikoliv redundance 1+1. Rozdíl rozebírá W04.)

Nevyváženost L3 v tomto příkladu (rozdíl zhruba 14 A) je na hraně toho, co distributoři ještě snesou bez výhrad. P03 se věnuje vyvažování fází napříč racky na úrovni budovy.

C13, C14, C19, C20 — typy konektorů

Sudá čísla označují vstupy na zařízení, lichá vidlice na kabelu či PDU.

Podstatné je tohle: cokoliv nad zhruba 1.5 kW trvale patří na C19/C20, ne na C13/C14. AI uzel se čtyřmi GPU a zdrojem 2000–2400 W je za hranicí C13. Snažit se ho napájet přes C13 znamená koledovat si o roztavený konektor čtyři měsíce po nasazení, až přechodový odpor vyleze nahoru od tepelného cyklování.

Správně navržená PDU pro AI rack má spoustu zásuvek C19, ne jen dvě nebo tři. Dobré rozložení 24zásuvkové vertikální 0U jednotky je 12× C19 + 12× C13. Někteří výrobci dodávají „kombi“ zásuvky, do nichž pasuje C14 i C20 v jedné dutině — v pořádku, jen to stojí víc. Objednejte odpovídající kabely C19-C20 (0.9–1.2 m pro 0U PDU montované vzadu v racku). Pořiďte tři nebo čtyři náhradní — mají ve zvyku se ztrácet.

Proudová zatížitelnost PDU versus jištění okruhu

Jistič v rozvaděči:             32 A třífázově (charakteristika C)
Trvalá zátěž (pravidlo 80 %):   25.6 A na fázi využitelných
Zatížitelnost PDU:              32 A na fázi
Cíl součtu zásuvek na fázi:     ≤ 25 A

PDU Vám 32 A na fázi ochotně unese, když ji necháte. Nadřazený jistič ale při trvalých 30 A nakonec vybaví — termomagnetické jističe integrují přetížení v řádu minut. Plánujte na 80 % a budete mít rezervu na zapínací proudy a krátké špičky. Vlastní jističe PDU na jednotlivých fázích jsou druhou vrstvou.

SNMP, Modbus, HTTP — jak dostat data ven

Switched + outlet-metered PDU má cenu podle toho, kolik z ní uvidí Váš monitoring.

• SNMP v2c / v3 — univerzální odpověď. Každý seriózní výrobce publikuje MIB; snmp_exporter z Promethea ji umí sbírat. Kde to jde, používejte v3, na management VLAN se dá přežít i v2c. Dotazujte se běžně po 30 s, pro rychlou detekci anomálií po 10 s.
• Modbus TCP — běžný u průmyslověji laděných značek. Méně standardizovaný než SNMP (mapy registrů se liší), ale spolehlivý. Prometheus má pro Modbus exportéry.
• HTTP / JSON REST — moderní inteligentní PDU dodávají REST API. Jednodušší pro vlastní integrace; méně časté než SNMP.
• Cloudové aplikace výrobců — užitečné pro rychlý přehled, nespoléhejte se na ně v produkčním monitoringu.

Kontrola stavu relé proti zadanému povelu je podceňovaná. Sepnuté relé může selhat přivařené v sepnuté poloze (častěji než v rozepnuté). Zadáte vypnutí zásuvky 5, proud dál teče — a Vy máte zaseknuté relé a server, který ve skutečnosti nemůžete restartovat. O tom chcete vědět.

Jak to vidíme na rovinu

Pro jakýkoliv rack s AI servery a dvěma či více výpočetními uzly kupte switched + outlet-metered. Třífázově, pokud trvalá zátěž přesahuje 5 kW a budova má třífázovou přípojku. Variantu ATS jen tehdy, když máte v racku se dvěma přívody techniku bez redundance.

Důvodů jít o úroveň níž je málo: jeden uzel na laboratorním stole, kam dosáhnete na vidlici, si vystačí s basic; jeden nebo dva uzly ve vlastní budově s napjatým rozpočtem mohou skončit u metered. Produkční AI výpočty, ke kterým se nedostanete do 15 minut: switched + outlet-metered, bez výjimek.

Chybou je koupit basic nebo metered a ušetřit €1000 na racku, v němž jsou GPU za €30k a víc. Až poprvé spolknete čtyřhodinový výpadek jen proto, že nemůžete vzdáleně restartovat zaseknutý uzel, zaplatí se lepší PDU sama.

Co se kazí

Způsoby selhání PDU, které jsme viděli, zhruba podle četnosti:

• Přivařené relé u switched jednotek. Zásuvka má povel k vypnutí, proud dál teče. Nastavte alarm na neshodu stavu relé proti povelu a jednotku vyměňte — relé se sama neuzdraví.
• Odchylka měření na zásuvkách. Levnější měřicí transformátory se po dvou třech letech odchýlí o 5–10 %. Pokud na tom stojí přeúčtování, kalibrujte jednou ročně nebo kupte jednotky s deklarovanou přesností po celou životnost (dobré kusy uvádějí ±1 %).
• Zamrznutí řídicí jednotky. Měření a ovládání se zasekne, zásuvky dál napájejí, ale SNMP zmlkne. Většina jednotek má watchdog, který řadič restartuje bez přerušení napájení zásuvek — ověřte si, že ten Váš to umí.
• Tepelné selhání jedné zásuvky. Zejména C13 trpí plíživým nárůstem přechodového odporu při trvalých 8–10 A. Řešení: nad 1.5 kW používejte C19 a silně zatížený rack jednou za čtvrt roku proměřte termokamerou.
• Postupné rozvážení fází. Při instalaci je rack vyvážený; o půl roku později někdo přidal techniku na jednu fázi. Alarmy na fáze to zachytí, čtvrtletní kontroly také.
• Aktualizace firmwaru odrovná řadič. Berte aktualizace firmwaru jako jakoukoliv jinou produkční změnu: servisní okno, nejdřív záložní jednotka, připravený plán návratu.

---

Tohle je část Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je propojují. Připomínky a opravy uvítáme na info@kentino.com.