Typy PDU pre AI racky: basic, metered, switched, ATS

Power Distribution Unit je tá najnudnejšia vec v racku a zároveň prvý diel, ktorý začnete ľutovať. 4-GPU AI server odoberá trvalo 1,8–2,4 kW, 8-GPU uzol 3,5–4,5 kW. Pri takýchto číslach už PDU nie je „tá vec, do ktorej sa server zapája“ — je to merač, mapa ističov, tlačidlo vzdialeného resetu a v zlý deň jediné, čo Vám povie, ktorá zásuvka sa taví.

Tento článok prechádza rebríček PDU od hlúpej predlžovačky až po inteligentnú jednotku s dvoma zdrojmi, s poctivými cenami, s tým, čo každá úroveň prináša, a s miestom, kde sa krivka cena verzus bolesť láme pre AI výpočty. Nezávisle od značky.

Jednotlivé úrovne v jednej tabuľke

Správna odpoveď pre akýkoľvek AI rack s dvoma a viac výpočtovými uzlami je switched + outlet-metered. Nižšie to obhájime.

Basic PDU — hlúpa lišta

Predlžovacia lišta do racku. Fáza, nula, zem, rad zásuviek, niekedy istič na každú skupinu. Žiadny displej, žiadny sieťový port, žiadna logika. Jeden vstup (vstupný konektor C20 alebo pevne pripojená vidlica), šesť až dvadsaťštyri zásuviek v kombinácii C13 a C19, a ak máte šťastie, LED signalizácia napájania.

Čo nedostanete: žiadny prehľad o tom, koľko prúdu odoberá jednotlivá zásuvka — ani samotná jednotka. Žiadny vzdialený reštart napájania. Žiadnu integráciu do monitoringu. Keď server zamrzne a Vy ste 200 km ďaleko, voláte niekomu, kto má kľúč od racku.

Basic stačí na laboratórny stôl pod Vaším písacím stolom alebo na jeden vývojový uzol v malej kancelárii, kde vidíte na kontrolky a dosiahnete na vidlicu. Pre akýkoľvek produkčný AI server, pre každý rack, ku ktorému sa nedostanete do 30 minút, a pre každý rack s viac ako dvoma výpočtovými uzlami je to zlá odpoveď. Rozdiel medzi basic (€100) a metered (€400) je oproti cene jedinej GPU zanedbateľný; kúpte si minimálne metered.

Metered PDU — súhrnný prehľad bez detailu na zásuvku

Metered PDU pridáva lokálny displej so vstupným prúdom, napätím a zvyčajne aj výkonom (kW) a spotrebou (kWh). Na trojfázových jednotkách zobrazuje hodnoty pre každú fázu. Lepšie kusy sprístupnia tie isté dáta cez SNMP, Modbus TCP alebo HTTP.

Čo stále nedostanete: prúd na jednotlivej zásuvke. Vidíte, že rack ťahá 18 A. Nevidíte, či zásuvka 4 ide na 9 A a zásuvka 5 na 0,5 A, alebo či obe bežia na 4,75 A. Pri heterogénnom AI racku to má význam. Nedostanete ani ovládanie zásuviek — tie sú zapnuté vždy, keď je jednotka pod napätím.

Táto úroveň je poctivou hodnotou pre jednoklientský rack s jedným či dvoma GPU servermi a prepínačom, kde je záťaž predvídateľná a potrebujete vedieť len to, či sa neblížite k vypnutiu ističa. Preskočte ju a choďte do outlet-metered, ak máte viac ako dva GPU uzly, akúkoľvek povinnosť prefakturovať spotrebu alebo profil záťaže, ktorý na tej istej zásuvke prudko kolíše medzi tréningom a inferenciou.

Outlet-metered PDU — meranie na každej zásuvke, základ pre AI

Prúd, napätie, výkon a spotreba na každej zásuvke. Malý prúdový transformátor alebo bočník na každej zásuvke, snímaný mnohokrát za sekundu. Rovnaké sprístupnenie cez SNMP / Modbus / HTTP ako pri metered, len s OID pre každú zásuvku.

Pri AI výpočtoch je toto prvá úroveň, ktorá Vám dá dáta, aké naozaj potrebujete. Vidíte, ktorý GPU server koľko ťahá — keď tím pridá tréningovú úlohu a vstup racku vyskočí z 24 A na 30 A, hneď viete, že to bol uzol s 8× 5090. Účinník na jednotlivej zásuvke odhalí starnúci alebo poddimenzovaný zdroj skôr, než zlyhá. Počítadlá kWh na zásuvku umožnia poctivú prefakturáciu. Alarmy na úrovni zásuvky (napr. 12 A na C13, teda 80 % menovitej hodnoty) zachytia plazivý nárast skôr, než vybaví nadradený istič.

Čo stále nedokážete: vzdialene reštartovať zamrznutý server. Zásuvka je meraná, ale stále pod napätím.

Outlet-metered jednotky sa pohybujú na úrovni €700–1200 — medzi metered (€400) a switched-metered (€1500+). Ak ste si istí, že vzdialené ovládanie zásuviek nikdy nebudete potrebovať, je to obhájiteľné miesto, kde zastať. V praxi väčšina AI rackov chce oboje.

Switched PDU — vzdialené ovládanie zásuviek

Switched PDU pridáva za každú zásuvku relé (mechanické alebo polovodičové). Zásuvku môžete zapnúť, vypnúť alebo prepnúť (vypnúť na N sekúnd a znova zapnúť) cez HTTP, SNMP set alebo aplikáciu výrobcu. Súhrnné meranie je rovnaké ako pri metered PDU; meranie na úrovni zásuvky chýba.

Zabijácka funkcia je reštart bez výjazdu. Počet prípadov, keď AI tréningová úloha zasekla server tak, že prestalo reagovať aj IPMI, nie je nulový. Switched PDU je posledný spôsob, ako stroj odpojiť od napájania bez toho, aby ste tam niekoho poslali. Vedľajšie využitie: programovateľná sekvencia štartu po výpadku UPS (aby všetky servery nenabehli v rovnakom okamihu) a časované zapínanie a vypínanie laboratórnej techniky.

Čo bez doplnku outlet-metered nedostanete: akýkoľvek spôsob, ako overiť, že na zásuvke po zapnutí naozaj je záťaž. PDU Vám povie, že relé zoplo; nepovie Vám, že server odoberá prúd. Pre sebavedomý vzdialený reštart naozaj chcete obidva stavy.

Switched + outlet-metered — ideál pre AI prevádzku

Meranie aj vzdialené ovládanie na každej zásuvke v jednej jednotke. Toto je správna odpoveď pre akýkoľvek produkčný AI rack:

1. Odber každej zásuvky vo Vašom monitoringu vedľa príkonu GPU, teploty v miestnosti a napájacích vetiev zdroja. Anomálie sa vynoria v jedinom dashboarde.
2. Vzdialený reštart so spätnou väzbou. Vypnete relé, sledujete pokles prúdu na nulu, počkáte päť sekúnd, zapnete relé a sledujete návrat prúdu na očakávanú pokojovú hodnotu.
3. Včasné tepelné varovanie. Ak zásuvka 4 začne ťahať 2,6 kW tam, kde bežne stojí na 1,7 kW, alarm sa ozve skôr, než to vzdá klimatizácia v miestnosti.
4. Skutočná prefakturácia s kWh na zásuvku, opečiatkovanými časom z NTP.

Cena: €1500–3000 za 24-zásuvkovú vertikálnu 0U jednotku. Menej než cena jedinej RTX 5090. Pri racku, v ktorom je GPU za €30k a viac, toto nie je položka, na ktorej sa šetrí.

Ak sa k racku fyzicky nedostanete — kolokácia, vzdialená pobočka, budova s obmedzeným prístupom — switched POTREBUJETE. Jediný ušetrený výjazd mimo pracovnú dobu ten rozdiel pokryje.

ATS PDU — prepínanie medzi dvoma zdrojmi napájania

ATS (Automatic Transfer Switch) PDU má dva prívodné káble z dvoch rôznych zdrojov a napája jeden blok zásuviek z toho vstupu, ktorý je práve v poriadku. Keď primárny zdroj poklesne alebo vypadne, ATS prepne na sekundárny do 8–16 ms. Zariadenia za ním zaznamenajú len krátke zakolísanie.

ATS PDU sú určené pre zariadenia s jedným prívodom, ktoré potrebujú redundanciu zdroja. Moderné servery s dvoma zdrojmi ATS nepotrebujú — každý zdroj zapojíte do iného PDU na inom zdroji a server si prepnutie ošetrí sám. Po ATS siahnete vtedy, keď sú v racku zariadenia s jediným prívodom — väčšina sieťových prepínačov, KVM, menšie diskové polia — a výpadok zdroja si nemôžete dovoliť.

ATS Vám nekúpi zálohovanie z batérie; ak vypadnú obidva zdroje, vypadne s nimi aj ATS. Aspoň pred jedným zdrojom teda stále chcete UPS. Nechráni ani pred skratmi za sebou — chybná zásuvka vybaví istič tak či tak.

Oplatí sa pri zmiešanom racku, kde máte časť serverov s dvoma zdrojmi a časť zariadení s jedným. Zbytočné je v racku, kde je už všetko s dvoma zdrojmi (stačia dve nezávislé PDU), alebo v laboratóriu, kde je krátky výpadok nepríjemný, ale nie katastrofálny.

Rozvod cez trojfázové PDU

Len čo rack prekročí zhruba 5 kW trvalej záťaže, jednofázových 16 A (3,7 kW) je málo a 32 A (7,4 kW) je tesných. Štandardnou odpoveďou je trojfázové PDU na vidlici IEC 60309 32 A 3P+N+E (červená, 400 V medzi fázami / 230 V voči nule).

P_max = √3 × V_LL × I × PF
      = 1.732 × 400 V × 32 A × 1.0
      ≈ 22.2 kVA  (about 22 kW at unity PF)

Predpisy v EÚ znižujú trvalú záťaž na 80 % hodnoty ističa, takže využiteľný trvalý výkon je bližšie k 17–18 kW. To pohodlne stačí na štyri 4-GPU uzly plus sieťové prvky.

Vnútri sa tri fázy (L1, L2, L3) rozdeľujú medzi zásuvky jedným z dvoch spôsobov. Fáza na skupinu (zásuvky 1–8 na L1, 9–16 na L2, 17–24 na L3) je jednoduchá, ale hrozí nevyváženie, ak všetka Vaša vysokoodberová technika skončí v jednej skupine. Striedanie fáz (zásuvky 1/4/7 na L1, 2/5/8 na L2, 3/6/9 na L3) dáva susedné zásuvky na rôzne fázy, takže servery namontované vedľa seba sa prirodzene rozložia medzi fázy. Väčšina moderných inteligentných PDU strieda fázy automaticky.

Príklad zapojenia trojfázového 32 A PDU napájajúceho AI rack so štyrmi uzlami:

Input: IEC 60309 32A 3P+N+E (red, 400/230V)
       L1 — 32A   L2 — 32A   L3 — 32A   N   PE

Internal: per-phase 32A hydraulic-magnetic breaker
          per-outlet relay + CT (switched + outlet-metered)
          phase-striped outlets

Outlets (24 total, 12× C19 + 12× C13, 0U vertical):

  1  (L1, C19)  Node A PSU-1   (8× 5090,  ~4.0 kW)
  2  (L2, C19)  Node A PSU-2   (same node, split delivery)
  3  (L3, C19)  Node B PSU-1   (4× Pro 6000, ~2.2 kW)
  4  (L1, C19)  Node B PSU-2
  5  (L2, C19)  Node C PSU-1   (4× 5090, ~2.0 kW)
  6  (L3, C19)  Node C PSU-2
  7  (L1, C19)  Node D PSU-1   (4× 5090, ~2.0 kW)
  8  (L2, C19)  Node D PSU-2
  9  (L3, C13)  ToR switch (~80 W)
  10 (L1, C13)  Mgmt switch (~30 W)
  11 (L2, C13)  KVM-over-IP (~20 W)
  12 (L3, C13)  Head/jump host (~150 W)
  13–24         Reserve / aux

Per-phase load (all nodes at ~80% sustained):
  L1 ≈ 4.1 kW / 17.8 A
  L2 ≈ 4.0 kW / 17.4 A
  L3 ≈ 2.4 kW / 10.4 A

Dôležité sú tu dve veci. Po prvé, striedanie fáz urobí väčšinu vyvažovania samo. Po druhé, uzly s dvoma zdrojmi v režime deleného napájania zámerne končia svojimi dvoma káblami na rôznych fázach. Pri každom AI serveri s dvoma zdrojmi v konfigurácii deleného napájania zapojte každý zdroj do inej fázy — polovicu prúdu na fázu a lepšiu rezervu. („Delené napájanie“ je náš produktový pojem: dva zdroje, z ktorých každý nesie polovicu záťaže, nie redundancia 1+1. Rozdiel vysvetľuje W04.)

Nevyváženie na L3 v príklade (rozdiel asi 14 A) je na hranici toho, čo distribútori ešte tolerujú. P03 rozoberá vyvažovanie fáz naprieč rackmi na úrovni budovy.

C13, C14, C19, C20 — typy konektorov

Párne čísla označujú vstupy na zariadení, nepárne vidlice na kábli alebo PDU.

Podstatné je toto: čokoľvek nad zhruba 1,5 kW trvalo patrí na C19/C20, nie na C13/C14. 4-GPU AI uzol so zdrojom 2000–2400 W je za hranicou C13. Napájať ho cez C13 znamená koledovať si o roztavený konektor štyri mesiace po nasadení, keď prechodový odpor narastie od tepelných cyklov.

Správne navrhnuté PDU pre AI rack má dostatok zásuviek C19, nie len dve či tri. Dobré rozloženie pre 24-zásuvkovú vertikálnu 0U jednotku je 12× C19 + 12× C13. Niektorí výrobcovia dodávajú „kombo“ zásuvky, ktoré v tom istom tele prijmú C14 aj C20 — v poriadku, len to stojí viac. Objednajte si zodpovedajúce káble C19 na C20 (0,9–1,2 m pre 0U PDU montované vzadu v racku). Kúpte tri až štyri náhradné — majú vo zvyku sa strácať.

Menovitý prúd PDU verzus menovitý prúd obvodu

Utility / panel breaker:     32 A 3-phase (C-curve)
Continuous load (80% rule):  25.6 A per phase usable
PDU rating:                  32 A per phase
Per-phase outlet sum target: ≤ 25 A

PDU Vám ochotne prenesie 32 A na fázu, ak mu to dovolíte. Nadradený istič pri trvalých 30 A nakoniec vybaví — tepelno-magnetické ističe integrujú preťaženie v priebehu mnohých minút. Plánujte na 80 % a máte rezervu na nábehové prúdy aj krátke špičky. Vlastné ističe PDU na jednotlivé fázy sú druhou vrstvou.

SNMP, Modbus, HTTP — ako dostať dáta von

Switched + outlet-metered PDU má takú hodnotu, akú z neho dokáže vyčítať Váš monitoring.

• SNMP v2c / v3 — univerzálna odpoveď. Každý seriózny výrobca zverejňuje MIB; snmp_exporter z Promethea ho prečíta. Kde sa dá, používajte v3; v2c len na manažment VLAN, keď inak nejde. Bežne snímajte každých 30 s, pri rýchlej detekcii anomálií každých 10 s.
• Modbus TCP — bežný u značiek s priemyselným zameraním. Menej štandardizovaný než SNMP (mapy registrov sa líšia), ale spoľahlivý. Prometheus má exportéry pre Modbus.
• HTTP / JSON REST — moderné inteligentné PDU prichádzajú s REST API. Jednoduchšie pre vlastné integrácie, ale zriedkavejšie než SNMP.
• Cloudové aplikácie výrobcov — užitočné na rýchly pohľad, nespoliehajte sa na ne pri produkčnom monitoringu.

Porovnanie stavu relé so zadaným príkazom je podceňovaná kontrola. Spínacie relé môže zlyhať zvarené v zopnutej polohe (čo je častejšie než zvarené v rozopnutej). Zadali ste vypnutie zásuvky 5, prúd stále tečie — máte zaseknuté relé a server, ktorý v skutočnosti neviete reštartovať. O tom chcete vedieť.

Poctivý záver

Pre každý rack s AI servermi s dvoma a viac výpočtovými uzlami kúpte switched + outlet-metered. Trojfázové, ak trvalá záťaž presahuje 5 kW a budova má trojfázovú prípojku. Variant ATS len vtedy, ak máte v racku s dvoma prívodmi neredundantnú techniku.

Dôvody ísť nižšie sú úzke: jeden uzol na laboratórnom stole, kde dosiahnete na vidlicu, vystačí s basic; jeden či dva uzly vo vlastnej budove s napätým rozpočtom môžu zastať pri metered. Produkčné AI výpočty, ku ktorým sa nedostanete do 15 minút: switched + outlet-metered, bez výnimiek.

Chybou je kúpiť basic alebo metered, aby ste ušetrili €1000 na racku, v ktorom je GPU za €30k a viac. Keď prvýkrát zjete štvorhodinový výpadok preto, že nedokážete vzdialene reštartovať zaseknutý uzol, upgrade PDU sa Vám zaplatí sám.

Čo sa kazí

Poruchy PDU, ktoré sme videli, zhruba podľa početnosti:

• Zvarené relé na switched jednotkách. Zásuvka má príkaz vypnúť, prúd stále tečie. Alarmujte na nesúlad stavu relé so zadaným príkazom a jednotku vymeňte — relé sa samo neuzdraví.
• Posun merania na zásuvkách. Lacnejšie prúdové transformátory sa po dvoch až troch rokoch rozídu o 5–10 %. Ak na tom stojí prefakturácia, kalibrujte raz ročne alebo kupujte jednotky s deklarovanou presnosťou na celú životnosť (dobré kusy uvádzajú ±1 %).
• Zamrznutie radiča. Meranie a ovládanie sa zaseknú, zásuvky ďalej napájajú, ale SNMP stíchne. Väčšina jednotiek má watchdog, ktorý radič reštartuje bez prerušenia napájania zásuviek — overte si, že ten Váš to vie.
• Tepelné zlyhanie jednej zásuvky. Najmä C13 trpí nárastom prechodového odporu pri trvalých 8–10 A. Riešenie: nad 1,5 kW používajte C19 a zaťažený rack štvrťročne preskenujte termokamerou.
• Postupné rozchádzanie fáz. Pri inštalácii je rack vyvážený, o pol roka neskôr niekto pridal techniku na jednu fázu. Zachytia to alarmy na jednotlivé fázy aj štvrťročné kontroly.
• Aktualizácia firmvéru odrovná radič. Berte aktualizácie firmvéru ako každú produkčnú zmenu: servisné okno, najskôr záložná jednotka, pripravený plán návratu.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich prepájajú. Pripomienky a opravy uvítame na info@kentino.com.