Dimenzování zdroje a konfigurace se dvěma zdroji u AI serverů s více GPU

Napájení je ta jediná věc, kterou většina sestav s více GPU napoprvé zkazí. Je to zároveň chyba, jejíž pozdější oprava stojí nejvíc: poddimenzujte zdroj a systém se pod zátěží náhodně restartuje, předimenzujte ho a vyhodili jste €400 za jednotku běžící na 30% účinnosti. Otázka dvou zdrojů je ještě horší, protože většina toho, co se o „redundanci“ píše na internetu, je v kontextu 4U workstation nebo serverové skříně se spotřebitelskými GPU nesprávně.

Tento článek přináší výpočty, realitu konstrukčních formátů a upřímný pohled na sestavy se 4 a 8 GPU na hardwaru, který skutečně dodáváme: RTX 5090, 4090, RTX Pro 6000 Blackwell (Workstation a Max-Q), L40 a L4 na hostitelských platformách EPYC.

Výpočet celkového příkonu

Číslo, které vás zajímá, je trvalý odběr ze zásuvky při realistické zátěži, plus dostatečná rezerva, aby přechodové špičky nespustily nadproudovou ochranu zdroje. Vzorec je přímočarý:

P_total  =  (GPU_TDP × N_gpu)  +  CPU_TDP  +  drives  +  fans  +  motherboard
P_psu    =  P_total / efficiency_at_load  ×  1.30  (30% headroom)

30% rezerva není náhodná. Pokrývá tři věci najednou: přechodové špičky GPU, pokles účinnosti, jakmile zdroj vytížíte nad ~70% jmenovitého výkonu, a fakt, že TDP u GPU je marketingové číslo, které reálné workloady občas překročí.

Referenční hodnoty TDP, se kterými dimenzujeme:

Vzorec je jasný: workstation karty (Pro 6000, L40, L4) drží své jmenovité TDP neúprosně, protože mají firmwarové stropy příkonu navržené pro trvalou datacentrovou zátěž. Spotřebitelské karty (5090, 4090) špičkují. 5090 si při přechodu mezi workloady na desítky milisekund vezme 600 W i víc. Vynásobte to čtyřmi kartami, jejichž špičky nejsou ve fázi, a váš zdroj uvidí krátké špičky výrazně nad ustáleným průměrem.

Právě proto je „matematika říká 1500 W, koupím 1500W zdroj“ nejčastější cesta, jak sestava se 4× 5090 skončí u restartů pod zátěží.

Přechodové špičky — proč je rezerva skutečná

Chování přechodových špiček u spotřebitelských GPU třídy Blackwell je dobře zdokumentované. 5090 v nečinnosti na ~30 W dokáže během jediné milisekundy vyskočit na 600 W, jakmile se spustí CUDA kernel nad prázdnou frontou. Vlastní VRM karty část z toho vyhladí, ale netriviální podíl se dostane zpět do větví zdroje. 4090 dělá totéž se špičkami kolem ~500 W.

Dva důsledky:

1. Bodem selhání je nadproudová ochrana zdroje (OCP), ne průměrná kapacita větve. Zdroj 1500 W s agresivní OCP nastavenou na ~130% jmenovitého výkonu vypne, jakmile čtyři 5090 shodou okolností vyšpičkují současně. Restart je tichý — žádný záznam v logu, žádné varování, systém prostě naběhne znovu. Diagnostika bez měřicí techniky zabere dny.
2. Rychlost reakce zdroje je důležitější než špičkový výkon. Serverové a špičkové ATX zdroje mají přídržnou kapacitu, která dokáže pohltit podmilisekundové přechodové děje bez rozkmitání větve. Levné nebo starší jednotky to nezvládnou. Právě proto je cenový rozdíl mezi 2kW zdrojem průmyslové třídy a 2kW spotřebitelským „herním“ zdrojem reálný — není to jen jiné logo.

Praktické pravidlo, které používáme: cílit na 70% jmenovitého výkonu zdroje jako ustálenou zátěž, zbylých 30% nechat na přechodové špičky a křivku účinnosti. Sestava se 4× 5090 na ~2.3 kW trvale si žádá rozpočet 3 kW na zdroje, což v praxi znamená dva ATX zdroje po 1500 W s rozdělenou zátěží.

Certifikace 80+ — co doopravdy znamenají

Stupně certifikace 80+ popisují účinnost při 20%, 50% a 100% zátěži, při vstupním napětí 115 V nebo 230 V. Relevantní čísla pro AI server s více GPU (který se většinu času pohybuje kolem 50% zátěže) na evropské síti 230 V:

Při 50% zátěži je rozdíl mezi Gold a Titanium čtyři procentní body. U systému s příkonem 2 kW běžícího 24/7 jsou čtyři body zhruba 80 W trvale, tedy ~700 kWh ročně. Při €0.20/kWh to je €140 ročně na jeden zdroj. Titanium se zaplatí do dvou let na serveru, který skutečně běží v režimu, pro který byl postaven; Gold je správná odpověď, pokud systém polovinu času zahálí.

80+ Platinum ani Titanium na produktových stránkách Kentino neuvádíme, pokud certifikaci nemáme doloženou. Naprostá většina 2kW ATX zdrojů, které dodáváme, má hodnocení Gold. Zákazníci, kteří pro nasazení v kolokaci v režimu 24/7 potřebují konkrétně Platinum nebo Titanium, si je mohou vyžádat jako volbu sestavy — zajistíme je a naceníme.

ATX vs. serverové zdroje s výměnou za chodu

Otázka konstrukčního formátu se dělí jednoznačně:

ATX (jeden zdroj, do ~2 kW)

• Standardní 4U workstation skříně přijmou jeden nebo dva ATX zdroje.
• Maximální praktický výkon na jednu ATX jednotku je ~2 kW (limit jednofázového okruhu 240 V při 16 A je celkem 3.6 kW).
• Kabely jsou vyměnitelné uživatelem, modulární a zapojení konektorů je standardní.
• Žádná výměna za chodu. Porucha zdroje znamená odstavení a přestavbu.
• Cena: €200–€500 za seriózní 2kW ATX jednotku (Corsair AX, Seasonic PRIME, EVGA SuperNOVA G+, Super Flower Leadex).

CRPS (Common Redundant Power Supply, serverový formát)

• Oborově standardní modul serverového zdroje, ~73.5 mm × 185 mm × 40 mm.
• Používá se ve serverových skříních Supermicro, Tyan, Gigabyte a Bone64c.
• Skutečná výměna za chodu ve spojení s redundantní backplane (1+1 nebo 2+2).
• Typické výkony: 1200 W, 1600 W, 2000 W, 2400 W, 3000 W na modul.
• Cena: €350–€700 za modul, plus backplane.

Upřímný pohled na sestavy Kentino:

• AI servery Kentino se 4 GPU se dodávají ve 4U workstation/serverových skříních se dvěma ATX zdroji — konkrétně dvakrát 1500 W nebo dvakrát 2000 W podle složení GPU.
• AI servery Kentino s 8 GPU se dodávají v serverových skříních se dvěma nebo čtyřmi CRPS moduly po 2000–2400 W. To jsou konfigurace, kde se skutečná redundance 1+1 stává smysluplnou volbou, protože ji backplane skříně podporuje.

Upřímně o dvou zdrojích — rozdělená dodávka, ne N+1

Jde o nejčastěji zkreslovaný parametr na trhu sestav s více GPU a my tuhle chybu opakovat nebudeme.

Ve 4U workstation skříni se dvěma ATX zdroji:

Oba zdroje nejsou redundantní. Napájejí různou zátěž. Typické zapojení vypadá takto:

Rozdělená dodávka přes dva ATX zdroje. Žádné sdílení větví, žádné přepnutí při poruše. Dvě oddělené skupiny zátěže.

Mezi dvěma ATX zdroji v této topologii neexistuje žádné „automatické přepnutí při poruše“. ATX zdroje nesdílejí větve. Výstup 12 V zdroje A není elektricky spojen s výstupem 12 V zdroje B. Kdybyste je propojili, vytvoříte proudovou smyčku a jednu či obě jednotky poškodíte.

Důvod, proč u sestav se 4 a více GPU používáme dva zdroje, je rozdělená dodávka napájení: jediná 2kW ATX jednotka na 70% zátěže je na papíře v pořádku, ale samotný svazek kabelů — čtyři PCIe větve ke GPU plus základní deska plus EPS — se z jednoho zdroje vede fyzicky mizerně. Rozdělení do dvou jednotek po 1500 W nebo 2000 W půlí hmotu kabeláže na každé straně, půlí tepelnou zátěž na jednotku a dává vám elegantní záložní provoz se 2 GPU, pokud zdroj odejde uprostřed úlohy, místo tvrdé smrti celého systému.

CRPS v serverové skříni je něco jiného. Backplane CRPS 2+2 se čtyřmi 2kW moduly a redundantními páry 1+1 je skutečně vyměnitelná za chodu a jeden modul může selhat, aniž by systém spadl. To je konfigurace serveru s 8 GPU a na produktové stránce výslovně uvádíme, když se sestava s takovou backplane dodává. Je to také konfigurace, která opravňuje k tvrzení o „redundantním zdroji“. U ATX sestav se 4 GPU takové tvrzení neděláme, protože by bylo nepravdivé.

Vyvážení větví a proudové limity na větev

Moderní špičkové ATX zdroje jsou ve výchozím stavu jednovětvové 12V konstrukce, což věci zjednodušuje — celý 12V výstup je jeden velký společný zdroj a jediným limitem je celkový výkon zdroje. Jednovětvová 2000W jednotka na 230 V dokáže na 12 V dodat ~166 A, což je pro jakoukoli jednotlivou GPU víc než dost.

Některé starší nebo průmyslové zdroje jsou vícevětvové (12V1, 12V2, 12V3, 12V4), každá větev s vlastním stropem OCP typicky 20–40 A. To hraje roli ve dvou případech:

1. Připojíte 5090 konektorem 12V-2x6 (nástupce 12VHPWR) na jedinou 12V větev. 5090 si při přechodové špičce 600 W bere na 12 V 50 A. Vícevětvová OCP na 40 A vypne.
2. Připojíte dvě GPU do stejné skupiny portů jedné větve. Stejný problém, dvojnásobný.

Praktická odpověď: u sestav s více GPU používejte jednovětvové 12V zdroje. Vícevětvové uspořádání je pozůstatek z doby, kdy 12V OCP byla bezpečnostní funkce u herních systémů s jednou GPU. Ve skříni se 4× 5090 aktivně škodí.

Konkrétní sestava se 4× 5090

Čísla z reprezentativní sestavy Kentino AI 96 Turin se 4× RTX 5090:

Component                       Sustained        Peak
---------                       ---------        ----
4× RTX 5090                     4 × 500 W = 2000 W   4 × 600 W = 2400 W (transient)
EPYC 9354 (32-core, 280 W)      ~ 250 W              350 W
Motherboard + 8× 64 GB DDR5     ~ 100 W              150 W
2× NVMe SSD                     ~ 20 W               30 W
4× 120 mm industrial fans       ~ 30 W               40 W
                                --------             --------
Total system                    ~ 2.4 kW             ~ 3.0 kW transient

Dimenzování zdroje: 3.0 kW přechodově / 0.92 (Gold při 50% zátěži) = rozpočet 3.26 kW na zdroje. Zaokrouhleno nahoru na 2× 1500 W ATX nebo 2× 2000 W ATX, jednovětvové, Gold a lepší, rozdělené takto:

• Zdroj A (2000 W): základní deska, CPU, disky, ventilátory, GPU 1, GPU 2
• Zdroj B (1500 W): GPU 3, GPU 4

Variantu 2× 2000 W nabízíme zákazníkům, kteří chtějí mít rezervu pro pozdější upgrade na karty RTX Pro 6000 Workstation (600 W na kus, tvrdší strop přechodové špičky, ale tak jako tak trvalý strop 2.4 kW).

Konkrétní sestava s 8× 5090

Čísla pro Kentino AI 256 Turin Dual s 8× RTX 5090:

Component                       Sustained        Peak
---------                       ---------        ----
8× RTX 5090                     8 × 500 W = 4000 W   8 × 600 W = 4800 W (transient)
2× EPYC 9554 (64-core, 360 W)   ~ 650 W              800 W
Motherboard + 16× 64 GB DDR5    ~ 180 W              250 W
4× NVMe SSD                     ~ 40 W               60 W
8× industrial server fans       ~ 80 W               120 W
                                --------             --------
Total system                    ~ 5.0 kW             ~ 6.0 kW transient

Dimenzování zdroje: 6.0 kW přechodově / 0.94 (Platinum CRPS při 50% zátěži) = rozpočet 6.4 kW na zdroje. Standardní konfigurací jsou dva CRPS moduly po 2000 W jako minimum, běžněji 2+2 CRPS po 2000–2400 W s redundantní backplane.

To je konfigurace, kde je skutečné tvrzení o redundanci 1+1 na místě. Rozdíl v investičních nákladech oproti serveru se dvěma neredundantními zdroji je ~€800–€1200 na sestavu.

Vstupní napětí 240 V tu hraje roli. Systém s 8× 5090 na jednofázovém okruhu 230 V / 16 A je na 73% trvalého jmenovitého proudu jističe, což je horní hranice toho, co většina jurisdikcí povoluje jako trvalý odběr. Pro jakékoli nasazení s 8 GPU doporučujeme okruh 32 A nebo třífázovou rackovou PDU s 230 V na fázi.

Dimenzování UPS

Pokud dáváte AI server se 4 nebo 8 GPU na UPS — a měli byste, minimálně kvůli řízenému vypnutí — výpočet je následující:

• Sestava se 4 GPU: 2.4 kW trvale. Online UPS 3 kVA / 2.4 kW vám dá plné krytí, ale minimální dobu zálohy (~5 minut při plné zátěži). Na řízené vypnutí to stačí.
• Sestava s 8 GPU: 5 kW trvale. Minimem je online UPS 6 kVA. Pro reálnou desetiminutovou zálohu pod zátěží se bavíme o 10 kVA nebo paralelní dvojici.

UPS poddimenzovaná na přechodovou špičku přejde do bypassu nebo se vypne ve chvíli, kdy GPU vyšpičkují. Výkon UPS musí pokrýt přechodovou špičku, ne ustálený průměr. Správnou topologií pro AI výpočty je online dvojitá konverze. Line-interactive jednotky mají dobu přepnutí 4–10 ms, která při přechodu občas shodí inferenční úlohy. Výstup čistá sinusovka, ne modifikovaná — moderní ATX a CRPS zdroje modifikovanou sinusovku při vysoké zátěži snášejí špatně.

Souhrnná tabulka — doporučené zdroje podle třídy sestavy

Čísla pro L40 a L4 jsou důvod, proč tyto karty zůstávají zajímavé: inferenční server s 8× L4 běží na jediném 1200W ATX zdroji s rezervou a vejde se do jakéhokoli kancelářského okruhu. Ne každý workload potřebuje Blackwell.

---

Toto je součást Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je spojují. Komentáře a opravy uvítáme na info@kentino.com.