Dimenzovanie ističov a nábehový prúd pri AI serveroch
Najčastejšia sťažnosť, ktorú po inštalácii AI servera počujeme, znie v rôznych obmenách: „istič stále vypína“. Zhruba v polovici prípadov je rack v priemere úplne v poriadku — GPU bežia, BMC je dostupné, grafy zo SNMP vyzerajú rozumne — a napriek tomu v nepredvídateľných okamihoch istič vypne a v miestnosti zhasne. Menej často vypína prúdový chránič (RCD), čo je ešte frustrujúcejšie, pretože záťaž vyzerá vyvážene a zariadenia vyzerajú v poriadku.
Podľa našich skúseností ani jeden z týchto príznakov zvyčajne nie je preťaženie. Asi v polovici prípadov ide o nesprávnu vypínaciu charakteristiku ističa — typicky o istič s charakteristikou B, ktorý nainštaloval elektrikár s predpokladom, že AI výpočty sa správajú ako kancelárska IT technika. Asi v 30 % prípadov ide o nesprávny typ RCD, keď sa od prístroja typu AC alebo typu A žiada, aby rozlíšil zvodový prúd s jednosmernou zložkou z celej skupiny serverových zdrojov s aktívnym PFC. Zvyšných 20 % je skutočné preťaženie, takmer vždy v okamihu, keď niekoľko zdrojov súčasne nabieha zo studeného štartu a obálka zapínacieho prúdu nakrátko presiahne všetko, čo by sa dalo odhadnúť z priemerného odberu.
Tento článok je elektrotechnickým doplnkom k W04 (dimenzovanie zdrojov) a P02 (typy PDU). Vysvetľuje, čo vypínacie charakteristiky podľa IEC 60898 skutočne znamenajú, aké je reálne správanie zapínacieho prúdu zdrojov, ktoré dodávame, kedy sa prejaví 80 % derating pri trvalej záťaži a aký typ RCD predpísať pre rack serverových spínaných zdrojov pre AI. Na konci nájdete prepočítané príklady pre zostavu so 4 GPU 5090 a pre zostavu s 8 GPU.
Čo istič v skutočnosti meria — dva vypínacie mechanizmy v jednom prístroji
Každý miniatúrny istič podľa IEC 60898 má v jednom puzdre dva ochranné mechanizmy.
Tepelný prvok je bimetalový pásik, ktorý sa prúdom zahrieva počas mnohých sekúnd. Modeluje priebeh I²t, ktorý rozhoduje o tom, či sa kábel prehrieva. Podľa IEC 60898 sú konvenčné tepelné body nasledovné: pri 1.13 × menovitom prúde ističa (In) prístroj nesmie vypnúť v rámci konvenčného času (typicky > 1 hodina pri menovitých hodnotách ≤ 63 A) a pri 1.45 × In vypnúť musí, opäť v rámci konvenčného času. Práve táto časť chráni vodič pred trvalým preťažením.
Magnetický prvok je elektromagnetická cievka, ktorá rozopne kontakty v zlomku polperiódy vo chvíli, keď prúd prekročí pevne danú hranicu. Táto časť chráni pred skratom — a zároveň rozhoduje o tom, či je zapínací prúd Vášho AI servera „v poriadku, krátky náraz“, alebo „vypnuté, uvidíme sa zajtra“.
Písmeno vypínacej charakteristiky (B, C, D) určuje pásmo magnetickej vypínacej hranice. Tepelná charakteristika je pri rovnakom In pre všetky charakteristiky rovnaká; líši sa iba magnetický bod.
| Charakteristika | Pásmo magnetického vypnutia | Typické použitie | Reakcia na krátky náraz ≤ 100 ms |
|---|---|---|---|
| B | 3–5 × In | Odporové záťaže v domácnostiach, osvetlenie, zásuvky | Vypne pri akomkoľvek trvalom náraze nad 5× In |
| C | 5–10 × In | Komerčné / zmiešané indukčné záťaže, malé motory, AI servery | Krátkodobo vydrží do 10× In |
| D | 10–20 × In | Priemysel, transformátory, zváračky, veľké motory | Krátkodobo vydrží do 20× In |
Pri ističi 16 A sú magnetické hranice približne takéto: B16 vypína nad 48–80 A, C16 nad 80–160 A a D16 nad 160–320 A. Presný bod v rámci každého pásma závisí od výrobcu a od teploty.
Väčšina bytových a menších komerčných budov v EÚ je štandardne osadená ističmi s charakteristikou B. Pre kancelárske zásuvky, osvetlenie a odporové záťaže je to správna voľba. Pre obvod AI servera je to však nesprávna predvoľba, a to z dôvodov, ktoré si teraz prejdeme.
Reálne správanie zapínacieho prúdu zdrojov — to, čo katalógové listy podceňujú
Keď serverový zdroj zapojíte a zapnete za studena, prvou úlohou vstupného stupňa je nabiť filtračné kondenzátory na jednosmernej strane. Typicky ide o 470 µF až 2200 µF s napätím 400 V alebo 450 V, umiestnené za mostíkovým usmerňovačom. Pri štarte z nuly sa niekoľko stoviek mikrosekúnd správajú voči sieti takmer ako skrat, kým sa napätie na kondenzátore nepriblíži k špičkovému napätiu siete.
| Trieda zdroja | Špička pri studenom štarte | Trvanie | Poznámky |
|---|---|---|---|
| Spotrebiteľský ATX 850–1200 W (NTC obmedzovač) | 30–60 A | < 5 ms | Väčšina „herných“ zdrojov |
| Spotrebiteľský ATX 1500–2000 W (NTC obmedzovač) | 60–100 A | < 5 ms | Vyššia trieda — Corsair AX, Seasonic PRIME |
| Serverový CRPS 1600–2400 W (NTC + aktívny) | 40–80 A | < 5 ms | Nižšia než pri porovnateľných ATX |
| Lacný spotrebiteľský ATX (bez obmedzovača) | 100–200 A | < 2 ms | V rackoch s viacerými zdrojmi sa mu vyhnite |
| Priemyselný ATX 2 kW, nízka impedancia zdroja | 80–150 A | < 5 ms | Najhorší prípad priamo v zásuvke |
Vo väčšine kvalitných zdrojov tento mechanizmus zabezpečuje termistor NTC (so záporným teplotným koeficientom) zapojený do série so vstupom. Za studena má 5–20 Ω; zapínací prúd ho v priebehu milisekúnd zahreje, odpor klesne na niekoľko percent studenej hodnoty a termistor sa pre ustálenú prevádzku stáva prakticky neviditeľným. Nevýhodou je, že NTC sa po vypnutí musí najprv ochladiť — zdroj, ktorý práve bežal a bol na desať sekúnd vypnutý, môže mať zapínací prúd takmer taký, akoby obmedzovač vôbec nemal, pretože termistor je stále horúci a má nízky odpor.
Serverové moduly CRPS často dopĺňa aktívny obmedzovač zapínacieho prúdu: relé alebo MOSFET, ktorý po nabití filtračných kondenzátorov premostí prúd obmedzujúci rezistor. Spája tak ochranu pri studenom štarte, akú poskytuje NTC, s nezávislosťou tvrdého spínača od ochladzovania. Moduly CRPS v rozsahu 1.6–3 kW sa pri zapínacom prúde zvyčajne správajú lepšie než ATX jednotky rovnakého výkonu — jednak preto, že aktívny obvod je štandardom, jednak preto, že predpoklad impedancie zdroja (230 V v dátovom centre) je prísnejší.
Dva dôsledky pre návrh AI racku:
- Špička zapínacieho prúdu uvedená v katalógovom liste platí pri menovitom napätí a „typickej“ impedancii zdroja. Pri 245 V (horná hranica tolerancie v EÚ) a na krátkom napájaní s nízkou impedanciou z blízkeho rozvádzača môže byť špička 1.5–2× vyššia než uvádzané číslo. Namerali sme špičky 180 A na jednotke ATX 1500 W, ktorá mala v špecifikácii 100 A.
- Zdroje, ktoré štartujú súčasne, svoje zapínacie špičky sčítavajú. Sieťová perióda je pre všetky rovnaká; ak sú štyri zdroje zapojené do rovnakého obvodu a všetky zopnú svoje vstupy v tom istom okamihu, istič uvidí približne 4× špičku jedného zdroja. Server so 4× 5090 a dvoma zdrojmi ATX 2 kW (v najhoršom prípade ~150 A špičky na zdroj) nabieha nakrátko so špičkou ~300 A. Istič B16 (magnetická hranica 48–80 A) vypne. Istič C16 (80–160 A) v najhoršom prípade vypne. Istič C32 (160–320 A) vydrží.
Toto je mechanizmus, ktorý stojí za najčastejšou sťažnosťou „môj nový AI server stále vyhadzuje istič“. Trvalá záťaž je v poriadku. Vypína obálka zapínacieho prúdu pri studenom štarte.
Derating pri trvalej záťaži — pravidlo 80 %, na ktoré AI workloady doplácajú
Prax v EÚ (a v duchu aj IEC 60364) je znížiť menovitý trvalý prúd ističa zhruba na 80 % štítkovej hodnoty pri záťažiach, ktoré odoberajú prúd trvalo dlhšie než tri hodiny. Severná Amerika to kodifikuje v NEC 210.20(A); Európa to uplatňuje skôr ako osvedčenú prax než ako jediné tvrdé pravidlo, ale fyzikálny základ — zahrievanie bimetalu v ističi a zahrievanie vodiča v kábli — je rovnaký.
| Menovitá hodnota ističa | Teoretické maximum pri 230 V | 80 % trvalo | Čomu to vyhovuje |
|---|---|---|---|
| B/C 10 A | 2.3 kW | 1.84 kW | Workstation, malý vývojový stroj |
| B/C 16 A | 3.68 kW | 2.94 kW | Jeden server so 4 GPU 5090 (2.4 kW trvalo) |
| B/C 20 A | 4.6 kW | 3.68 kW | Jeden server so 4 GPU s rezervou |
| B/C 25 A | 5.75 kW | 4.6 kW | Jeden server s 8 GPU 5090 (4.5 kW trvalo) na hranici |
| B/C 32 A | 7.36 kW | 5.89 kW | Jeden server s 8 GPU s rezervou alebo dva so 4 GPU |
Inferencia a tréning AI sú jednoznačne trvalé záťaže. Endpoint vLLM obsluhujúci model 70B pri ustálenom toku požiadaviek odoberá 80–95 % štítkového TDP grafických kariet celé hodiny. Tréningový beh je ešte rovnomernejší. Derating na 80 % platí v plnom rozsahu — pre AI workloady neexistuje žiadna výnimka typu „prerušovaná nárazová záťaž“, pretože ide presne o ten druh trvalého odberu, pred ktorým má derating chrániť.
Server so 4× 5090 pri 2.4 kW trvalo sedí na 81 % trvalej zaťažiteľnosti ističa B/C 16 A, teda presne na hranici. S ističom charakteristiky B je obvod v priemere v poriadku a vypína na zapínacom prúde. S ističom charakteristiky C je obvod v priemere v poriadku a občas vypne na súbežných prechodových špičkách všetkých štyroch GPU. S ističom C 20 A alebo C 25 A má obvod skutočnú rezervu a nevypína nikdy. Preto je naše predvolené odporúčanie pre zostavu so 4 GPU 5090 samostatný obvod s ističom C 20 A alebo C 25 A, nie obvod 16 A, na ktorý výpočet „vychádza“.
Voľba vypínacej charakteristiky pre rad Kentino AI
| Zostava | Trvalo | Počet zdrojov | Špička pri studenom štarte (najhorší prípad) | Odporúčaný istič |
|---|---|---|---|---|
| Workstation s 1× 4090 / 5090 | 0.7 kW | 1× ATX 1200 W | 60–100 A | B 10 A alebo C 10 A |
| Server so 4× 5090 (2× ATX 1500–2000 W) | 2.4 kW | 2× ATX | 200–400 A spolu | C 20 A alebo C 25 A |
| 4× RTX Pro 6000 (2× ATX 2000 W) | 2.8 kW | 2× ATX | 200–400 A spolu | C 25 A |
| Server s 8× 5090 (2+2 CRPS @ 2 kW) | 4.5 kW | 4× CRPS | 200–320 A spolu | C 32 A alebo 3-fázovo |
| 8× RTX Pro 6000 (2+2 CRPS @ 2.4 kW) | 5.5 kW | 4× CRPS | 200–320 A spolu | 3-fázový 16 A, charakteristika C |
| Inferencia na 8× L40 (2× ATX 1500 W) | 2.6 kW | 2× ATX | 200–400 A spolu | C 20 A |
| Inferencia na 8× L4 (1× ATX 1200 W) | 0.7 kW | 1× ATX | 60–100 A | B 10 A alebo C 16 A |
Dve poznámky k tejto tabuľke:
- Charakteristika D je správnou odpoveďou len zriedka. Hodnoty D 10–20× In sú určené pre zapínacie prúdy transformátorov a rozbeh motorov, ktoré môžu doznievať stovky milisekúnd. Zapínací prúd zdroja je jav trvajúci menej než milisekundu až niekoľko milisekúnd. Istič s charakteristikou D zapínací prúd zvládne bez problémov, ale stráca citlivosť pri skratovej ochrane na konci dlhého kábla. Ak nemáte konkrétny dôvod, zostaňte pri charakteristike C.
- Zvýšiť menovitú hodnotu ističa o stupeň je takmer vždy lacnejšie než meniť charakteristiku. Istič C 20 A na správne dimenzovanom kábli je výmena dielu za 15 € oproti C 16 A. Prechod z B na C pri rovnakej menovitej hodnote je tiež len výmena dielu, ale polemizuje s pôvodným návrhom elektrikára. Fungujú obe cesty; my zvyčajne robíme obe — prejdeme na charakteristiku C a zároveň o stupeň vyššie — aby zostal priestor pre druhý zdroj, ktorý skôr či neskôr doplníte.
Prečo katalógové listy výrobcov uvádzajú nižší zapínací prúd, než je skutočný
Tri dôvody, prečo je katalógový údaj o zapínacom prúde spodnou, nie hornou hranicou:
- Výrobcovia merajú pri menovitých 230 VAC. Sieť v EÚ môže v niektorých oblastiach a v hodinách s nízkym zaťažením dosahovať 245 V aj viac. Špička zapínacieho prúdu rastie lineárne s napätím siete nad napätím čiastočne nabitého kondenzátora. Zapínací prúd 100 A pri 230 V je 107 A pri 245 V — malý vplyv, ale sčítava sa s ostatnými.
- Impedancia zdroja predpokladaná v katalógovom liste je „typický“ laboratórny zdroj, často niekoľko stoviek miliohmov. Reálna inštalácia s rozvádzačom v tej istej miestnosti ako rack a s krátkym prívodom môže mať impedanciu zdroja pod 100 mΩ. Nižšia impedancia zdroja znamená menší pokles napätia počas zapínacieho prúdu, a teda vyššiu prúdovú špičku. Videli sme ten istý zdroj odoberať špičku 80 A na dlhom kábli a 140 A na krátkom.
- Pri rýchlom vypnutí a zapnutí záleží na stave prednabitia jednosmernej zbernice. Zdroj vypnutý na niekoľko sekúnd a znova zapnutý môže mať teplé filtračné kondenzátory so zvyškovým nábojom — to zvyčajne pomáha, zapínací prúd je nižší. Ale zdroj vypnutý na niekoľko sekúnd so studeným NTC, ktorý sa nestihol resetovať, a s čiastočne vybitými kondenzátormi môže vyvolať zvláštny „druhý“ zapínací prúd prekračujúci hodnotu pri studenom štarte. Je to zriedkavé, ale objavuje sa to v rackoch, kde niekto pri ladení vypína a zapína napájanie cez spínané PDU.
Praktický záver znie: pri voľbe charakteristiky ističa predpokladajte, že špička v najhoršom prípade je zhruba 2× vyššia než katalógový údaj. Práve preto tabuľka vyššie končí pri C 20–25 A pre zostavy so 4 GPU a pri C 32 A alebo trojfázovom napájaní pre zostavy s 8 GPU, hoci výpočet ustáleného stavu by sa zmestil aj na menšie ističe.
Prúdová ochrana: typ RCD pre racky s AI servermi
RCD (prúdový chránič) chráni pred zvodovým prúdom do zeme, ktorý prekročí bezpečnú hranicu — typicky 30 mA pri obvodoch s ochranou osôb. Mechanizmom je prúdový transformátor, ktorý sčítava prúd vo fázovom a nulovom vodiči; pri normálnej prevádzke je súčet nulový a akákoľvek nerovnováha (prúd unikajúci niekde do zeme) sa prejaví ako reziduálny prúd, ktorý nad nastavenou hranicou prístroj vypne.
Rack s AI servermi mätie prúdový chránič dvoma spôsobmi:
Trvalý zvod cez kondenzátory Y. Každý spínaný zdroj má vo vstupnom EMC filtri kondenzátory Y zapojené medzi fázu a zem a medzi nulový vodič a zem. Tie zvádzajú vysokofrekvenčný spínací šum do zeme. Ako vedľajší účinok však do zeme prepúšťajú aj malý prúd s frekvenciou 50 Hz — typicky 0.5–1 mA na zdroj pri spotrebiteľských ATX a 1–3 mA na zdroj pri serverových CRPS s dôkladnejšou filtráciou. IEC/EN 60950-1 a jej nástupca IEC 62368-1 túto hodnotu z bezpečnostných dôvodov obmedzujú na 3.5 mA na jedno IT zariadenie. Rack so 4 zdrojmi tak môže mať 4–12 mA trvalého zvodu do zeme ešte pred akoukoľvek poruchou. Pri chrániči 30 mA je to „na papieri v poriadku“, ale spotrebuje to takmer polovicu vypínacej hranice.
Zvod s jednosmernou zložkou z aktívneho PFC. Moderné serverové zdroje používajú aktívnu korekciu účinníka (PFC) — zvyšujúci menič na vstupe, ktorý odoberá prúd úmerne priebehu sieťového napätia a dosahuje PF > 0.95. Stupeň PFC vytvára v prípadnom zvodovom prúde malú, ale nenulovú jednosmernú zložku (väčšinou za poruchových stavov). Chrániče typu AC reagujú iba na čisto sínusový striedavý reziduálny prúd — poruchy s jednosmernou zložkou nezachytia. Chrániče typu A zachytia striedavý aj pulzujúci jednosmerný prúd, čo pokrýva väčšinu jednofázových elektronických záťaží. Chrániče typu B zachytia aj hladký jednosmerný reziduálny prúd, teda presne to, čo môže vyprodukovať aktívne PFC a akýkoľvek trojfázový usmerňovač v záťaži.
| Zariadenie | Minimálny typ RCD | Prečo |
|---|---|---|
| Kancelárske zásuvky, osvetlenie | Typ AC | Čisto striedavé záťaže |
| Jednofázový zdroj ATX (spotrebiteľský / workstation) | Typ A | Pulzujúci jednosmerný prúd z usmerňovača |
| Serverový zdroj CRPS s aktívnym PFC | Typ B | Možný zvod s jednosmernou zložkou |
| Viacero rackov s AI servermi | Selektívny typ B + typ A za ním | Selektívne rozlíšenie |
| Nabíjačka elektromobilu, frekvenčný menič, FV striedač | Typ B | Rovnaká rodina záťaží |
Chrániče typu B stoja 3–5× toľko ako typu A. Pre jediný AI server so 4 GPU v existujúcom kancelárskom obvode je typ A zvyčajne postačujúci — zvod je daný najmä striedavým prúdom kondenzátorov Y, jednosmerná zložka je malá a náklady na prestavbu celého rozvádzača na typ B sa ťažko obhajujú. Pre vyhradené AI laboratórium s viacerými servermi je správnou odpoveďou typ B na nadradenom prívode, doplnený o podružné chrániče typu A s 30 mA na úrovni zásuviek kvôli ochrane osôb pri upratovacích zásuvkách a podobne.
Selektivita: pasca nadradeného a podružného chrániča
Jedna nepríjemná porucha v laboratóriách, kde sa do existujúceho rozvádzača dodatočne dopĺňajú chrániče: chránič 30 mA pred ďalším chráničom 30 mA neposkytuje žiadnu selektivitu. Pri poruche môže vypnúť ktorýkoľvek z nich ako prvý a keď vypne jeden, môže ho druhý nasledovať, pretože zvodový prúd sa prerozdelí cez vlastné cesty vypínacieho mechanizmu. Výsledkom je, že zhasne celý rozvádzač pri poruche, ktorá mala zostať v jedinom obvode.
Správna topológia pre AI laboratórium:
- Serverový obvod 1 (bez ďalšieho chrániča)
- Serverový obvod 2
- Monitoring PDU / pomocné obvody
Ochrana osôb — nie na prívode serverov
Správna topológia selektivity chráničov: selektívny chránič typu B so 100 mA pred AI obvodmi, chrániče typu A s 30 mA len na pomocných a kancelárskych zásuvkách.
Označenie „S“ alebo „selektívny“ na nadradenom chrániči pridáva do vypínacieho mechanizmu zámerné oneskorenie 40–200 ms, vďaka ktorému majú podružné prístroje s 30 mA čas poruchu odstrániť ako prvé. Bez tohto oneskorenia dva chrániče v sérii s rovnakou hranicou medzi sebou pretekajú. Topológia, ktorá pre rack s viacerými AI servermi naozaj funguje, vyzerá takto: selektívny typ B so 100 mA ako nadradený, typ A s 30 mA podružne len na pomocných zásuvkách a žiadny chránič na vyhradenom serverovom obvode (odstránenie poruchy zabezpečuje nadradených 100 mA).
Prepočítaný príklad 1 — Kentino AI server so 4 GPU 5090
Zadanie: jeden Kentino AI 96 Turin so 4× RTX 5090, 2× zdroj ATX 1500 W (rozdelené napájanie podľa W04), v malom laboratóriu na novo zriadenom vyhradenom obvode.
Trvalá záťaž: ~2.4 kW pri 230 V = 10.4 A trvalo. Pri deratingu na 80 % je najmenší istič, ktorý sem predpisovo patrí, 13 A; najbližšia štandardná veľkosť je 16 A.
Špička zapínacieho prúdu (najhorší prípad): 2× 150 A = 300 A spolu, s trvaním < 5 ms. Istič B 16 A (magneticky 48–80 A) na tomto vypne. Istič C 16 A (magneticky 80–160 A) vypne na hornej hranici najhoršieho prípadu. Istič C 20 A (magneticky 100–200 A) vydrží.
RCD: jedna dvojica zdrojov, trvalý zvod cez kondenzátory Y odhadom ~3–5 mA spolu. Chránič typu A s 30 mA má rezervu ~25 mA — to stačí. Ak má budova len ochranu chráničom typu AC, vymeňte nadradený prístroj za typ A alebo typ B; nepridávajte druhý prístroj s 30 mA do série.
Špecifikácia odovzdaná elektrikárovi:
- Vyhradený jednofázový obvod 230 V, istič C 20 A (alebo B 20 A, ak dodávateľ nemá charakteristiku C v tejto hodnote na sklade; preferujeme C).
- chránič typu A, 30 mA ako minimum, typ B, ak sa budova aj tak rekonštruuje.
- Zásuvka Schuko (alebo jednofázový konektor 16 A podľa miestnej normy) pri racku. Kábel C19/C20 zo zásuvky do PDU.
- Žiadne iné záťaže na tom istom obvode.
Tento obvod udrží server so 4 GPU 5090 cez studené štarty, dlhý tréning aj občasné vypnutie a zapnutie bez zbytočných výpadkov.
Prepočítaný príklad 2 — Kentino AI server s 8 GPU 5090
Zadanie: jeden Kentino AI 256 Turin Dual s 8× RTX 5090, 2+2 moduly CRPS po 2 kW, určený na dlhodobý tréning v malej serverovni.
Trvalá záťaž: ~4.5 kW pri 230 V = 19.6 A trvalo. Pri deratingu na 80 % je potrebný istič aspoň 25 A; najbližšia štandardná veľkosť je 32 A.
Špička zapínacieho prúdu (najhorší prípad): 4× 80 A = 320 A spolu pre moduly CRPS, < 5 ms. Istič C 32 A (magneticky 160–320 A) je na hrane. Istič C 40 A (200–400 A) vydrží s rezervou.
RCD: 4× CRPS s PFC, trvalý zvod cez kondenzátory Y odhadom ~8–15 mA spolu, plus nenulová jednosmerná zložka. Chránič typu A s 30 mA na tomto skôr či neskôr zbytočne vypne a jednosmerný poruchový prúd nemusí správne detegovať. Správnou špecifikáciou je selektívny typ B so 100 mA.
Možnosti špecifikácie:
- Možnosť A — jednofázovo: istič C 32 A alebo C 40 A na vyhradenom obvode 230 V, nadradený selektívny chránič typu B so 100 mA. Zásuvka CEE 32 A modrá (jednofázová podľa IEC 60309) pri racku. Funguje to, ale je to na hornej hranici jednofázového rozvodu; kábel vedie značný prúd.
- Možnosť B — trojfázovo (preferovaná): zásuvka CEE 400 V trojfázová 16 A červená pri racku, pričom štyri moduly CRPS sú na PDU rozdelené medzi fázy (podľa P02/P03). Každá fáza vedie ~6.5 A trvalo, čo je hlboko v rámci ktoréhokoľvek ističa C 16 A. Chránič na každej vetve alebo spoločný selektívny typ B so 100 mA na trojfázovom prívode. Pre akúkoľvek zostavu s 8 GPU, kde sú tri fázy k dispozícii, je toto čistejšie riešenie.
Prepočítaný príklad 3 — plánovanie laboratória so štyrmi rackmi
Zadanie: plánuje sa robotické a AI laboratórium so štyrmi rackmi, v každom 2× Kentino AI server s 8 GPU, 2× server so 4 GPU, sieťové prvky a nabíjanie humanoidov. Hrubá trvalá záťaž na rack: 2× 4.5 + 2× 2.4 = 13.8 kW; so sieťovými prvkami, prepínačmi a nabíjačkami zaokrúhlene 15 kW na rack, teda 60 kW celkovo.
Jednofázový rozvod tu nemá šancu — už samotná trvalá záťaž na rack si vyžaduje tri fázy. Plán:
- Prívod do budovy: 400 V trojfázovo, minimálne 100 A na fázu. Existujúce budovy si na to často vyžadujú posilnenie prípojky; skontrolujte rozvádzač ešte pred podpisom nájmu.
- Podružný rozvádzač laboratória: 400 V trojfázovo, napájaný z hlavného rozvádzača vodičmi 4× 63 A alebo 4× 100 A podľa dĺžky trasy.
- Na jeden rack: prívod CEE 400 V trojfázový 32 A červený z podružného rozvádzača (~22 kW teoreticky, 17.6 kW trvalo — pokryje 15 kW na rack so 17 % rezervou). Trojpólový istič C 32 A pred každým prívodom do racku.
- Stratégia RCD: selektívny chránič typu B so 100 mA na každom prívode do racku, selektívny typ B s 300 mA na hlavnom prívode podružného rozvádzača ako požiarna ochrana. Chrániče typu A s 30 mA na ochranu osôb len na pomocných zásuvkách v laboratóriu (pracovné stoly, upratovacie zásuvky), nie na prívodoch serverov.
- Vyváženie fáz: podľa P03; PDU s meraním na zásuvku a striedaním fáz v každom racku, s dokumentovaným priradením zásuviek k fázam.
- Postupný nábeh: pozri nižšie.
Pasca postupného nábehu
Scenár, ktorý laboratóriá po prvý raz spoľahlivo zaskočí: výpadok napájania vypne nadradený istič, sieť sa vráti a každý server v racku sa pokúsi naštartovať za studena v tom istom okamihu. Celkový zapínací prúd je N × špička na jeden zdroj naprieč všetkými servermi v racku. Pri racku so štyrmi servermi to môže na jedinom prívode krátko dosiahnuť 1000–2000 A.
Nadradený istič to uvidí a vypne. V miestnosti znova zhasne. Správca systému prepne rozvádzač. A stane sa to isté.
Dve riešenia, obe nasadzujeme na zostavách Kentino s viacerými servermi štandardne:
- Spínané PDU s postupným spúšťaním zásuviek (podľa P02). Zásuvky PDU sa nakonfigurujú tak, aby nabiehali postupne s oneskorením 2–5 sekúnd medzi jednotlivými zásuvkami. Celkový čas na nábeh štyroch serverov je 8–20 sekúnd a zapínacie prúdy sa neprekrývajú.
- „Oneskorený štart“ alebo „soft start“ zdroja v BIOS / IPMI. Mnohé serverové platformy majú konfigurovateľné oneskorenie po obnovení napájania, ktoré čas štartu náhodne rozloží alebo posunie v rámci malého okna. V kombinácii s postupným spúšťaním PDU to prináša druhú vrstvu rozloženia.
Bez jedného z týchto opatrení bude rack s ôsmimi servermi na jedinom ističi vypínať pri každom jednom obnovení napájania. Videli sme to; dá sa to spoľahlivo zopakovať; a s priemernou záťažou to nemá nič spoločné.
Čo ďalej — kontrolný zoznam pred elektroinštaláciou
Odovzdajte ho elektrikárovi, ktorý inštaláciu pripravuje. Ak podľa neho nedokáže postupovať alebo namieta proti konkrétnemu bodu, spýtajte sa prečo; pri niektorých miestnych odlišnostiach existujú legitímne dôvody, ale plošné odmietanie vypínacích charakteristík či typov chráničov je znakom niekoho, kto s AI výpočtovou technikou ešte nepracoval.
Na každý serverový obvod
- Trvalá záťaž sčítaná podľa reálneho pracovného odberu, nie podľa štítkových hodnôt.
- Veľkosť ističa zvolená pri deratingu na 80 % trvalej záťaže zo sčítaného odberu, pokiaľ možno plus jedna štandardná veľkosť navyše.
- Vypínacia charakteristika predpísaná štandardne ako C. Charakteristika B len na obvodoch, ktoré napájajú nanajvýš jeden workstation. Charakteristika D takmer nikdy; len ak je na obvode aj konkrétna motorická alebo transformátorová záťaž.
- Prierez kábla dimenzovaný na zvolený istič (1.5 mm² pri 16 A, 2.5 mm² pri 20–25 A, 4 mm² pri 32 A, 6 mm² pri 40 A pri bežných dĺžkach v EÚ; dlhšie trasy si vyžadujú väčší prierez kvôli úbytku napätia).
- Vyhradený obvod na každý server. Nezdieľajte ho s kancelárskymi zásuvkami, osvetlením ani so vzduchotechnikou.
Voľba chrániča
- Minimálne typ A na akýkoľvek obvod s AI serverom; preferovaný typ B pri každom racku so 4 a viac zdrojmi.
- Nikdy dva chrániče 30 mA v sérii. Použite nadradený selektívny typ B so 100 mA a typ A s 30 mA len na pomocných zásuvkách, alebo jediný typ B s 30 mA priamo pri záťaži — nikdy oboje.
- Chránič 30 mA na ochranu osôb na obvodoch pracovísk, osvetlenia a upratovacích zásuviek — nie na prívode serverov.
Obmedzenie zapínacieho prúdu
- PDU nakonfigurované na postupné spúšťanie zásuviek (2–5 s medzi zásuvkami) v rackoch s viacerými servermi.
- Oneskorenie po obnovení napájania nastavené v BIOS / IPMI na každom uzle.
- Overené špecifikácie zdrojov: jednovetvových 12 V, NTC alebo aktívny obmedzovač zapínacieho prúdu, podľa možnosti serverová trieda.
Dokumentácia
- Jednopólová schéma aktualizovaná tak, aby pri každom obvode uvádzala menovitú hodnotu ističa, charakteristiku a typ chrániča.
- Štítky na každom ističi v rozvádzači zodpovedajúce racku, ktorý napája.
- Zdokumentovaná špička zapínacieho prúdu pre každý obvod (katalógový údaj × 2 ako najhorší predpoklad).
- Priradenie fáz k zásuvkám na trojfázových prívodoch, napísané na dverách racku (podľa P03).
Úprimné zhrnutie: derating na 80 % a istič s charakteristikou C nie sú voliteľné, chránič typu A alebo B nie je voliteľný a postupný nábeh nie je voliteľný, len čo má rack viac než dva servery. Keď tieto štyri veci urobíte správne, hovory typu „stále mi vypadáva istič“ zmiznú.
Súvisiace články: W04 sa venuje dimenzovaniu zdrojov a topológii rozdeleného napájania z dvoch zdrojov; P01 rieši voľbu medzi jednou a tromi fázami; P02 sa venuje typom PDU a voľbe spínaných PDU či PDU s meraním na zásuvku; P03 rozoberá vyváženie fáz naprieč rackmi; P05 (ďalší v sérii P) sa venuje dimenzovaniu UPS pre AI výpočty, kde rovnaká logika zapínacieho prúdu platí o stupeň vyššie.
Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich prepájajú. Pripomienky a opravy uvítame na info@kentino.com.