Vyvažovanie fáz naprieč AI rackmi: prečo na tom záleží a čo naozaj funguje

Trojfázový prívod 32 A vyzerá na papieri ako slušná rezerva. 32 A × 400 V × √3 = ~22 kW. To pohodlne pokryje štyri osem-GPU AI servery Kentino pri trvalej záťaži, aj s rezervou. Prečo teda polovica svojpomocne stavaných AI laboratórií vyhodí istič už v prvom mesiaci?

Odpoveďou je takmer vždy vyváženie fáz — presnejšie jeho absencia. Celková záťaž racku je v poriadku. Horí jedna fáza.

Tento článok je o tom, ako sa trojfázové napájanie reálne rozkladá naprieč rackom AI serverov, prečo AI workloady namáhajú vyvažovanie zvláštnym spôsobom a čo robiť na úrovni zásuviek PDU, aby vás istič prestal prekvapovať.

Stručne k matematike

Pre vyváženú záťaž v zapojení do hviezdy pri združenom napätí Vll a celkovom činnom výkone Ptot s účinníkom PF platí:

I_line  =  P_tot  /  (V_ll × √3 × PF)

Na európskom prívode 400 V pri PF = 0,98 a vyvážených 20 kW: I_line = 20 000 / (400 × 1,732 × 0,98) ≈ 29,5 A. Zmestí sa do ističa 32 A. Každá fáza nesie ~29,5 A, nulový vodič takmer nič.

Rozložte tých istých 20 kW nerovnomerne — 12 kW na L1, 5 kW na L2, 3 kW na L3:

Súčet je stále 20 kW. Istič 32 A sa o súčty nestará — stará sa o to, ktorá jediná fáza vypne ako prvá. L1 na 165 % menovitej hodnoty vypne. Ostatné dve fázy stáli naprázdno.

Nevyvážená záťaž nielen plytvá kapacitou; mení rezervu, ktorú ste zaplatili, na vypnutie, ktoré len čaká na svoju chvíľu.

Problém prúdu v nulovom vodiči

Trojfázové sústavy do hviezdy majú štvrtý vodič — nulový —, ktorý vracia vektorový súčet troch fázových prúdov. Pri dokonale vyváženej lineárnej záťaži sa tri prúdy posunuté o 120° navzájom vyrušia a nulovým vodičom netečie nič. Pri nevyváženosti ním tečie všetko, čo sa nevyruší.

Užitočná aproximácia pre prúd v nulovom vodiči pri nevyváženej lineárnej záťaži:

I_N  =  √( I_R² + I_Y² + I_B² − I_R·I_Y − I_Y·I_B − I_B·I_R )

Pre náš príklad 53/22/13 A z toho vychádza zhruba 35 A tečúcich nulovým vodičom. V rozvádzači, kde je nulový vodič dimenzovaný na menovitý fázový prúd, je 35 A na nulovom vodiči pri fázovom dimenzovaní 32 A nepríjemné. V rozvádzači, kde je nulový vodič poddimenzovaný (staršia inštalácia, rekonštrukcia alebo predpoklad vyváženej záťaže), práve tu nájdete roztavenú izoláciu.

Poctivé zhrnutie: v každom AI racku, ktorý si to meno zaslúži, musí mať nulový vodič aspoň rovnaký prierez ako fázové vodiče a ideálne väčší. Vrátime sa k tomu v časti o K-faktore, pretože nelineárne záťaže to ešte zhoršujú.

Prečo AI workloady namáhajú toto viac než tradičné IT

Tradičný firemný rack — webové servery, databázy, pár sieťových switchov — má záťaž, ktorá je medzi strojmi štatisticky nekorelovaná. CPU servera A vyskočí v jednom okamihu, servera B v inom, priemer naprieč rackom je hladký a vyvažovanie medzi tromi fázami zhruba funguje, pretože sa náhodné výkyvy navzájom vyrušia.

AI workloady tento predpoklad rúcajú dvoma konkrétnymi spôsobmi.

Synchrónna korelácia záťaže. Distribuovaný tréning spúšťa ten istý krok na každom GPU v rovnakom čase. Spätný prechod sa spustí na všetkých ôsmich GPU servera naraz. Ak trénujete na štyroch uzloch, všetkých 32 GPU vstúpi do fázy all-reduce spoločne a potom spoločne do ďalšieho dopredného prechodu. Záťaž nie je vyhladený priemer — je to obdĺžnikový signál s frekvenciou tréningového kroku, povedzme 0,5 – 5 Hz podľa modelu.

Ak sú všetky štyri servery na tej istej fáze, tá fáza dostane celý obdĺžnikový signál. Ak sú servery rozložené medzi fázy, každá fáza vidí ten istý obdĺžnikový signál, pretože kroky sú synchrónne. Vyvažovanie fáz korelovanú záťaž nevyhladí. Zrovná iba priemer na fázu.

Prechodové javy kratšie než perióda. Jediná RTX 5090 má menovitých 575 W, ale je schopná prechodových výkyvov na 738 W počas 5 – 10 ms, 824 W počas 1 – 5 ms a 901 W v špičkách pod 1 ms. Osem-GPU AI server Kentino má teda menovitý trvalý odber okolo 4 – 4,5 kW a milisekundovú špičku, ktorá môže krátko presiahnuť 7 kW. Zdroj a elektroinštalácia budovy väčšinu z toho pohltia — ale prúdové špičky sú reálne, nie sú sínusové a šíria sa do nadradeného PDU.

Štandardné tepelno-magnetické ističe prechodové javy kratšie než perióda ignorujú. Moderné hydraulicko-magnetické a elektronické ističe nie vždy; niektoré vypínajú na okamžitú špičku, nie na efektívnu hodnotu. Ak vám istič opakovane vypína počas konkrétnych fáz tréningu a rack je inak v rámci priemerného dimenzovania, pozeráte sa na krivku prechodových javov, nie na priemer.

Čo vyvažovanie fáz dokáže a čo nie

Preto ľudia, ktorí prišli z prevádzky klasických dátových centier, občas narazia: v ich svete je vyvažovanie celý príbeh. V AI racku je nutné, ale nie postačujúce.

Stratégia vyvažovania na úrovni zásuviek

Praktická práca sa odohráva na úrovni zásuviek PDU. Trojfázové 0U rackové PDU na 32 A ponúka skupiny zásuviek po fázach. Typické rozloženie 30-zásuvkového PDU je zásuvky 1 – 10 na L1, 11 – 20 na L2, 21 – 30 na L3. Niektoré PDU používajú striedavé usporiadanie pre lepší manažment kabeláže — zásuvky 1, 4, 7 na L1; 2, 5, 8 na L2; 3, 6, 9 na L3. PDU profesionálnej triedy majú fázy farebne odlíšené.

Pravidlo je jednoduché a porušuje sa neustále: priraďte servery tak, aby sa súčet trvalej záťaže na každej fáze líšil od ostatných najviac o ~10 %. Pri rovnakých jednotkách je to round-robin, pri zmiešaných záťažiach bin-packing.

Praktický príklad, trojfázové PDU 32 A (~22 kW menovite, 17,6 kW trvalo pri 80 %). Koľko osem-GPU AI serverov Kentino (trvalo ~4 kW každý) sa doň zmestí?

Reálny rozpočet: jeden trojfázový rackový prívod 32 A utiahne zhruba tri osem-GPU AI servery, nie osem. Štvor-GPU server s trvalým odberom ~2 kW ten počet zhruba zdvojnásobí na šesť na okruh.

Toto väčšinu plánovačov laboratórií zaskočí. Papierová rezerva okruhu s 22 kW sa vyparí, len čo započítate krivky ističov, prechodové špičky a 80 % zníženie pre trvalú záťaž, ktoré vyžaduje väčšina elektrotechnických noriem.

Ako to merať — PDU s meraním na zásuvkách

Základné PDU vám nedá nič. PDU s meraním vám dá efektívny prúd na fázu na vstupe. PDU s meraním na zásuvkách vám dá prúd na každej zásuvke, čo je práve tá veličina, ktorú naozaj chcete.

Čo sledovať:

• Efektívny prúd na fázu, sledovaný v čase. Väčšina PDU s meraním na zásuvkách ponúka SNMP alebo REST API; zbierajte do Promethea, kreslite v Grafane a nastavte alarm na 80 % menovitej hodnoty.
• Špičkový prúd na fázu vo vzorkovacom okne. Ak PDU ponúka podržanie špičky, logujte ju; ak nie, vzorkujte aspoň 1 Hz.
• Pomer nevyváženosti fáz — (max − min) / max naprieč tromi fázami. Pod 10 % je dobré. Nad 25 % znamená, že nechávate kapacitu ležať ladom.
• Prúd v nulovom vodiči, ak ho PDU hlási. Ak je nulový vodič pod záťažou nad ~30 % ktoréhokoľvek fázového prúdu, niečo nie je v poriadku buď s vyvážením, alebo s obsahom harmonických.

PDU na 32 A je jeden kus techniky. Dve redundantné PDU na 32 A (prívody A a B) zdvojnásobia množstvo dát, ktoré musíte sledovať, ale zdvojnásobia aj odolnosť voči výpadku — ak jeden prívod vypadne, servery s dvoma zdrojmi bežia ďalej a prežívajúce PDU musí pohltiť všetko. Dimenzujte na tento prípad: rack s dvoma prívodmi by mal mať každé PDU na ~40 % menovitej hodnoty, aby prepnutie na jeden prívod zostalo v medziach ističa.

Harmonické a K-faktor

Každý zdroj v AI serveri je spínaný zdroj, čo je nelineárna záťaž: prúd odoberá v impulzoch okolo vrcholu každej polperiódy, nie ako hladkú sínusovku. Tým vstrekuje do siete harmonické prúdy, prevažne 3., 5. a 7. v jednofázových sústavách a 5., 7., 11. a 13. v trojfázovej hviezde.

Najviac škodí 3. harmonická v trojfázovej sústave: je to triplenová harmonická, čo znamená, že prúdy 3. harmonickej zo všetkých troch fáz prichádzajú do nulového vodiča vo fáze, nie posunuté o 120°. Sčítajú sa aritmeticky. Vyvážená lineárna záťaž má v nulovom vodiči takmer nulový prúd. Vyvážená nelineárna záťaž s výrazným obsahom 3. harmonickej môže mať prúd v nulovom vodiči blížiaci sa fázovému prúdu alebo ho dokonca presahujúci.

Preto existujú transformátory s K-faktorom. K-1 je bežný transformátor pre lineárnu záťaž; K-13 je dimenzovaný na podstatný obsah harmonických; K-20 je to, čo dnes seriózne AI dátové centrá predpisujú, pretože AI klastre predstavujú prakticky 100 % nelineárnu záťaž bez motorov či ohrievačov, ktoré by obsah harmonických zriedili.

Pri jednorackovom laboratóriu to býva málokedy váš problém — transformátor budovy je nad vami a dimenzovaný na zmiešanú záťaž. Pri viacrackovej AI miestnosti pridanej do existujúcej budovy sa elektrikára opýtajte: aké K-dimenzovanie má nadradený transformátor, má nulový vodič aspoň rovnaký prierez ako fázové vodiče (väčší je lepší) a je rozvádzač dimenzovaný na obsah harmonických? Ak znejú odpovede „K-1, rovnaký ako fáza, bežný“, pre jeden rack ste v pohode, ale pred rozšírením na štyri by ste sa k tomu mali vrátiť.

Poctivý problém poloprázdneho racku

Vyvažovanie fáz predpokladá, že máte dosť záťaže na rozdelenie. Rack s jedným serverom a dvadsiatimi prázdnymi U vyvážiť nejde — ten jeden server je na tej fáze, do ktorej je zapojený. Zvyšné dve fázy stoja naprázdno, nulový vodič nesie celý prúd jedného servera a trojfázový prívod 32 A je možno na 8 % kapacity, ale na 100 % nevyvážený.

Tri poctivé možnosti:

1. Zmierte sa s nevyváženosťou. Je to jeden server. Rozvádzač to unesie.
2. Prejdite na jednu fázu. Jednofázový prívod 32 A pri 230 V má ~7,3 kW — to stačí na jeden či dva štvor-GPU servery. Jednoduchšie, žiadny problém s vyvažovaním, žiadny problém s triplenovými harmonickými v nulovom vodiči. Správna odpoveď pre malé laboratórium bez plánu rastu na najbližších 12 mesiacov.
3. Plánujte dopredu, zapojte dopredu. Ak budete do roka rásť na 6 alebo 8 serverov, nainštalujte trojfázový prívod už teraz a s pribúdajúcimi servermi ho poctivo vyvažujte. Cenový rozdiel oproti jednej fáze je malý v porovnaní s neskorším prerábaním.

Prechádzka reálnym scenárom

Realistické stredne veľké laboratórium: dva racky, 8× osem-GPU AI server Kentino rozdelených medzi ne, plus sieť, úložisko a testovacia stolička s Intel Arc. Celkovo trvalo ~35,5 kW (32 kW na flotilu Kentino AI, 2,5 kW na Arc stoličku, 1 kW na switche a úložisko).

Plán okruhov: štyri servery Kentino AI na rack, každý rack na trojfázovom prívode 63 A (~43,5 kW menovite, 34,8 kW trvalo — pohodlné pre štyri 4 kW servery plus príslušenstvo).

Priradenie zásuviek v racku A:

Po fázach: L1 = 4,6 kW (20 A), L2 = 4,2 kW (18 A), L3 = 8 kW (35 A). Nevyvážené — dve jednotky Kentino AI zdieľajú L3. So štyrmi servermi na rack sa medzi tri fázy dokonale vyvážiť nedá; jedna fáza vždy dostane navyše. 35 A na prívode 63 A je 56 % menovitej hodnoty, s veľkou rezervou v ističi. Zmierte sa s tým. Rack B kopíruje rozloženie pre zvyšné štyri servery Kentino AI a Arc stoličku.

Redundanciu dvoch prívodov riešime tak, že každý server dostane pripojenie zdroja na prívod A a na prívod B cez dve fyzicky oddelené PDU — pozri W04, kde je rozobrané, ako to súvisí s rozdelenou, nie redundantnou dodávkou výkonu v zdrojoch AI serverov.

Monitoring: obe PDU exportujú prúd na fázu aj na zásuvku cez SNMP. Prometheus zbiera každých 15 s, Grafana ukazuje 24-hodinový trend a alarm sa spustí, ak ktorákoľvek fáza presiahne 80 % menovitej hodnoty na >5 min, alebo ak pomer nevyváženosti fáz presiahne 25 % na >30 min. Vyhladenie je dôležité — spúšťanie a zastavovanie tréningových úloh vyvoláva krátkodobé nevyváženosti, na ktoré netreba reagovať.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich prepájajú. Komentáre a opravy uvítame na info@kentino.com.