Vyvažování fází napříč AI racky: proč na něm záleží a co funguje

Třífázový přívod 32 A vypadá na papíře jako spousta rezervy. 32 A × 400 V × √3 = ~22 kW. To pohodlně pokryje čtyři osmiGPU AI servery Kentino při trvalé zátěži, a ještě zbude. Proč tedy polovina svépomocí stavěných AI laboratoří vyhodí během prvního měsíce jistič?

Odpověď je téměř vždy vyvážení fází — nebo spíš jeho absence. Celková zátěž racku je v pořádku. Hoří jedna fáze.

Tento článek je o tom, jak se třífázové napájení ve skutečnosti rozkládá napříč rackem AI serverů, proč AI workloady namáhají problém vyvážení specifickým způsobem a co dělat na úrovni zásuvek PDU, aby Vás jistič přestal překvapovat.

Krátce k výpočtu

Pro vyváženou zátěž v zapojení do hvězdy se sdruženým napětím Vll a celkovým činným výkonem Ptot při účiníku PF platí:

I_line  =  P_tot  /  (V_ll × √3 × PF)

Na evropském přívodu 400 V při PF = 0.98 přenášejícím vyvážených 20 kW: I_line = 20 000 / (400 × 1.732 × 0.98) ≈ 29.5 A. Vejde se do jističe 32 A. Každá fáze nese ~29.5 A, nulový vodič téměř nic.

Rozložte stejných 20 kW nerovnoměrně — 12 kW na L1, 5 kW na L2, 3 kW na L3:

Celkem je to stále 20 kW. Jističi 32 A jsou součty lhostejné — zajímá ho, která jediná fáze se přetíží první. L1 na 165 % jmenovité hodnoty vyhodí. Zbylé dvě fáze zahálely.

Nevyvážená zátěž nejen plýtvá kapacitou; mění rezervu, kterou jste zaplatili, ve výpadek čekající na svou chvíli.

Problém proudu v nulovém vodiči

Třífázové soustavy zapojené do hvězdy vedou čtvrtý vodič — nulový — který vrací vektorový součet tří fázových proudů. Při dokonale vyvážené lineární zátěži se tři proudy ve 120° odstupech vyruší a nulovým vodičem neteče nic. Při nevyváženosti nese nulový vodič vše, co se nevyruší.

Užitečná aproximace proudu v nulovém vodiči při nevyvážené lineární zátěži:

I_N  =  √( I_R² + I_Y² + I_B² − I_R·I_Y − I_Y·I_B − I_B·I_R )

Pro náš příklad 53/22/13 A z toho vychází zhruba 35 A tekoucích nulovým vodičem. V rozvaděči, kde je nulový vodič dimenzován na jmenovitý fázový proud, je 35 A v nule při fázovém dimenzování 32 A nepříjemné. V rozvaděči, kde je nulový vodič poddimenzovaný (starší instalace, rekonstrukce nebo předpoklad vyvážené zátěže), právě tady najdete roztavenou izolaci.

Poctivý závěr: v jakémkoli AI racku, který si to jméno zaslouží, musí mít nulový vodič alespoň stejný průřez jako vodiče fázové, a ideálně větší. K tomu se vrátíme v části o K-faktoru, protože nelineární zátěže situaci ještě zhoršují.

Proč to AI workloady namáhají víc než tradiční IT

Tradiční podnikový rack — webové servery, databáze, pár síťových switchů — má zátěž, která je mezi stroji statisticky nekorelovaná. CPU serveru A vyskočí v jednu chvíli, serveru B v jinou, průměr napříč rackem je hladký a vyvážení mezi tři fáze zhruba funguje, protože se náhodné výkyvy vyruší.

AI workloady tento předpoklad boří dvěma konkrétními způsoby.

Synchronní korelace zátěže. Distribuovaný trénink provádí tentýž krok na každém GPU ve stejnou chvíli. Zpětný průchod startuje na všech osmi GPU serveru současně. Trénujete-li napříč čtyřmi uzly, všech 32 GPU narazí na fázi all-reduce společně a pak společně i na další dopředný průchod. Zátěž není vyhlazený průměr — je to obdélníkový průběh na frekvenci tréninkového kroku, podle modelu třeba 0,5–5 Hz.

Jsou-li všechny čtyři servery na jedné fázi, vidí tato fáze celý obdélníkový průběh. Jsou-li servery rozděleny mezi fáze, vidí každá fáze stejný obdélníkový průběh, protože kroky jsou synchronní. Vyvážení fází korelovanou zátěž nevyhladí. Zplošťuje pouze průměr na fázi.

Podcyklové přechodové jevy. Jediná RTX 5090 má jmenovitý příkon 575 W, ale zvládne přechodové výkyvy na 738 W po dobu 5–10 ms, 824 W po dobu 1–5 ms a 901 W ve špičkách kratších než 1 ms. OsmiGPU AI server Kentino má tedy jmenovitý trvalý odběr kolem 4–4,5 kW a milisekundovou špičku, která může krátce přesáhnout 7 kW. Zdroj a elektroinstalace budovy většinu z toho pohltí — ale proudové špičky jsou reálné, jsou nesinusové a šíří se až k nadřazené PDU.

Standardní tepelně-magnetické jističe podcyklové jevy ignorují. Moderní hydraulicko-magnetické a elektronické jističe ne vždy; některé vypínají na okamžitou špičku, ne na efektivní hodnotu. Pokud Vám jistič padá opakovaně během konkrétních fází tréninku a rack je jinak uvnitř své průměrné hodnoty, díváte se na přechodovou křivku, ne na průměr.

Co vyvážení fází dokáže a co ne

Proto se lidé přicházející z provozu tradičních datacenter občas spálí: v jejich světě je vyvážení celý příběh. V AI racku je nutné, ale nestačí.

Strategie vyvažování na úrovni zásuvek

Praktická práce se odehrává na úrovni zásuvek PDU. Třífázová rackovová PDU 0U na 32 A nabízí banky zásuvek po fázích. Typické rozvržení u PDU s 30 zásuvkami je 1–10 na L1, 11–20 na L2, 21–30 na L3. Některé PDU používají prokládané rozvržení kvůli lepší kabeláži — zásuvky 1, 4, 7 na L1; 2, 5, 8 na L2; 3, 6, 9 na L3. PDU produkční třídy mají fáze barevně odlišené.

Pravidlo je jednoduché a neustále se porušuje: přiřazujte servery tak, aby se součet trvalé zátěže na každé fázi lišil od ostatních nejvýš o ~10 %. U identických jednotek jde o round-robin, u smíšených zátěží o bin-packing.

Praktický příklad, třífázová PDU 32 A (~22 kW jmenovitě, 17,6 kW trvale při 80 %). Kolik osmiGPU AI serverů Kentino (trvale ~4 kW každý) se vejde?

Realistický rozpočet: jediný třífázový přívod 32 A do racku utáhne zhruba tři osmiGPU AI servery, ne osm. ČtyřGPU server s trvalými ~2 kW to zhruba zdvojnásobí na šest na okruh.

Tohle většinu plánovačů laboratoří zaskočí. Papírová rezerva okruhu na 22 kW se vypaří, jakmile započítáte vypínací charakteristiky jističů, přechodové špičky a snížení na 80 % pro trvalou zátěž, které vyžaduje většina elektrotechnických norem.

Jak to měřit — PDU s měřením na zásuvku

Základní PDU Vám nedá nic. Měřená PDU Vám dá efektivní proud na fázi na vstupu. PDU s měřením na zásuvku Vám dá proud na jednotlivou zásuvku, což je veličina, kterou ve skutečnosti chcete.

Co sledovat:

• Efektivní proud na fázi, trendovaný v čase. Většina PDU s měřením na zásuvku nabízí SNMP nebo REST API; sbírejte do Promethea, kreslete v Grafaně, alarmujte na 80 % jmenovité hodnoty.
• Špičkový proud na fázi ve vzorkovacím okně. Pokud PDU nabízí podržení špičky, logujte ji; pokud ne, vzorkujte alespoň 1 Hz.
• Poměr nevyváženosti fází — (max − min) / max napříč třemi fázemi. Pod 10 % je dobré. Nad 25 % znamená, že necháváte kapacitu ležet ladem.
• Proud v nulovém vodiči, pokud jej PDU hlásí. Je-li nulový vodič pod zátěží na více než ~30 % kteréhokoli fázového proudu, něco není v pořádku buď s vyvážením, nebo s obsahem harmonických.

PDU na 32 A je jeden kus zařízení. Dvě redundantní PDU na 32 A (přívody A a B) zdvojnásobí množství dat, která musíte sledovat, ale také zdvojnásobí odolnost proti poruše — vypadne-li kterýkoli přívod, servery se dvěma zdroji běží dál a přeživší PDU musí pohltit všechno. Dimenzujte na tento případ: rack se dvěma přívody by měl každou PDU zatěžovat na ~40 % nominálu, aby přechod na jediný přívod zůstal uvnitř jističe.

Harmonické a K-faktor

Každý zdroj AI serveru je spínaný zdroj, tedy nelineární zátěž: odebírá proud v pulsech kolem vrcholu každé půlvlny, nikoli jako hladkou sinusovku. Tím vrací do sítě harmonické proudy, převážně 3., 5. a 7. v jednofázových soustavách a 5., 7., 11. a 13. v třífázové hvězdě.

Nejvíc škodí v třífázové soustavě 3. harmonická: je to triplenová harmonická, což znamená, že proudy 3. harmonické ze všech tří fází dorazí do nulového vodiče ve fázi, ne s odstupem 120°. Sčítají se aritmeticky. Vyvážená lineární zátěž má v nulovém vodiči téměř nulový proud. Vyvážená nelineární zátěž s významným podílem 3. harmonické může mít v nulovém vodiči proud blížící se fázovému proudu nebo jej i překračující.

Proto existují transformátory s K-faktorem. K-1 je běžný transformátor pro lineární zátěž; K-13 je dimenzován na podstatný obsah harmonických; K-20 je to, co dnes seriózní AI datacentra předepisují, protože AI clustery představují v podstatě 100% nelineární zátěž bez motorů či topných těles, které by obsah harmonických naředily.

U laboratoře s jedním rackem to Váš problém bývá zřídka — transformátor budovy je nadřazený a dimenzovaný na smíšenou zátěž. U víceraskové AI místnosti přidávané do existující budovy se zeptejte elektrikáře: jaké K-dimenzování má nadřazený transformátor, má nulový vodič alespoň stejný průřez jako vodiče fázové (větší je lepší) a je rozvaděč dimenzován na obsah harmonických? Jsou-li odpovědi „K-1, stejný jako fáze, běžný“, pro jeden rack jste v pořádku, ale před rozšířením na čtyři se k tomu vraťte.

Poctivý problém poloprázdného racku

Vyvažování fází předpokládá, že máte dost zátěže, kterou lze rozdělit. Rack s jedním serverem a dvaceti prázdnými U vyvážit nelze — ten jeden server je na té fázi, do které je zapojený. Zbylé dvě fáze zahálejí, nulovým vodičem teče plný proud jediného serveru a třífázový přívod 32 A je využitý možná na 8 %, ale ze 100 % nevyváženě.

Tři poctivé možnosti:

1. Smiřte se s nevyvážeností. Je to jeden server. Rozvaděč to unese.
2. Přejděte na jednu fázi. Jednofázový přívod 32 A na 230 V dá ~7,3 kW — pro jeden či dva čtyřGPU servery to stačí. Jednodušší, žádný problém s vyvažováním, žádné potíže s triplenovými harmonickými v nulovém vodiči. Správná odpověď pro malou laboratoř bez plánu růstu na příštích 12 měsíců.
3. Plánujte dopředu, taháte dopředu. Rostete-li v příštím roce na 6 nebo 8 serverů, instalujte třífázový přívod hned a vyvažujte ho průběžně, jak servery přibývají. Rozdíl v ceně oproti jednofázovému je malý ve srovnání s tím, co stojí jej později vytrhat.

Průchod reálným scénářem

Realistická středně velká laboratoř: dva racky, 8× osmiGPU AI server Kentino rozdělené mezi oba, plus síť, úložiště a testovací stolice s Intel Arc. Celkem trvale ~35,5 kW (32 kW pro flotilu Kentino AI, 2,5 kW pro stolici Arc, 1 kW pro switche a úložiště).

Plán okruhů: čtyři servery Kentino AI na rack, každý rack na třífázovém přívodu 63 A (~43,5 kW jmenovitě, 34,8 kW trvale — pohodlné pro čtyři 4kW servery a doplňková zařízení).

Přiřazení zásuvek v racku A:

Po fázích: L1 = 4,6 kW (20 A), L2 = 4,2 kW (18 A), L3 = 8 kW (35 A). Nevyvážené — dvě jednotky Kentino AI sdílejí L3. Se čtyřmi servery na rack nelze napříč třemi fázemi vyvážit dokonale; jedna fáze vždy bere navíc. 35 A na přívodu 63 A je 56 % jmenovité hodnoty, bezpečně uvnitř jističe. Smiřte se s tím. Rack B rozvržení zrcadlí pro zbývající čtyři servery Kentino AI a stolici Arc.

Redundanci dvou přívodů řešíme tak, že každý server dostane připojení zdroje na přívod A a na přívod B ve dvou fyzicky oddělených PDU — viz W04, kde je popsáno, jak to souvisí s rozděleným, nikoli redundantním napájením u zdrojů AI serverů.

Monitoring: Obě PDU exportují proud na fázi i na zásuvku přes SNMP. Prometheus sbírá každých 15 s, Grafana ukazuje 24h trend, alarm se spustí, pokud kterákoli fáze přesáhne 80 % jmenovité hodnoty na >5 min, nebo pokud poměr nevyváženosti fází přesáhne 25 % na >30 min. Na vyhlazení záleží — spouštění a ukončování tréninkových úloh vyvolává krátkodobé nevyváženosti, na které není třeba reagovat.

---

Toto je součást Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je propojují. Komentáře a opravy uvítáme na info@kentino.com.