GPU risery v AI serveroch: kedy ich potrebujete a čo sa pokazí

GPU riser je kábel, doska alebo zostava, ktorá presunie PCIe slot z miesta, kam ho umiestnila základná doska, tam, kde musí byť GPU. V bežnom PC s jednou kartou riser neriešite. V 4U racku so štyrmi RTX 5090 alebo pri dvojpätnicovom EPYC s ôsmimi kartami neriešite takmer nič iné. Práve na riseri potichu umiera integrita signálu, práve tam sa linka ticho pretrénuje na Gen3 a práve preto zostava, ktorá na stole benchmarkuje bez chyby, začne v produkcii prichádzať o jedno GPU denne.

Toto je praktická referencia: čo risery sú, kedy ich potrebujete, aké sú štyri kategórie, prečo Gen5 mení všetko, ako diagnostikovať a čo si vyžiadať v špecifikácii.

Prečo risery vôbec existujú

Základná doska umiestňuje sloty PCIe x16 približne 20 mm od seba. Dvojslotové GPU má hrúbku 40–70 mm. Tá matematika nevychádza. Len čo chcete v šasi viac než dve karty, trojslotové karty alebo orientáciu podľa prúdenia vzduchu rackom spredu dozadu, musia sa GPU fyzicky presunúť inam.

Tri praktické dôvody, prečo zostava potrebuje risery:

Zmestiť sa do šasi. 4U rackové šasi ukladá GPU naplocho, rovnobežne so základnou doskou, pozdĺž cesty prúdenia vzduchu. Sloty PCIe na základnej doske sú na to kolmé. Každé GPU v rackovom šasi s plochým uložením je na riseri, bodka.

Tepelné oddelenie. Aj keď sa karty do slotov fyzicky zmestia, pri natesnanom uložení nasáva každá karta výfuk tej vedľajšej. Krátky riser ich oddelí o 40–80 mm a každej karte dá vlastnú nasávaciu rovinu. Pri kartách s 350 W je to pri dlhodobej záťaži rozdiel medzi 72 °C a 86 °C.

Rozostupy pri viacerých GPU. Zostava s 8 GPU v šasi 4U/5U nemôže sloty na základnej doske použiť vôbec. Doska vyvedie štyri alebo päť slotov x16, šasi však potrebuje osem v rade pozdĺž cesty vzduchu. Systém riserov je celé mechanické rozhranie medzi nimi.

Štyri kategórie, s ktorými sa reálne stretnete

Kategórie riserov zoradené podľa dĺžky kábla a vhodnosti pre Gen5. Jedine MCIO je dimenzované na produkčné zostavy Gen5 s 8 GPU.

1. Pevné PCB risery (adaptéry 1U / 2U)

Plochá doska plošných spojov, ktorá sa zasunie do slotu na základnej doske a vyvedie sloty PCIe v pravom uhle alebo posunuté o 30–60 mm. Štandard v hustých 1U/2U serveroch. Krátke, pasívne, navrhnuté výrobcom a viazané na konkrétne šasi. Ak Vaše šasi nejaké obsahuje, použite ho.

2. Ribbon a flex risery

Klasika domácich zostáv. Plochý ohybný kábel dlhý 150–300 mm, na jednom konci slot PCIe, na druhom hranový konektor PCIe. Pod €100. Všadeprítomné v zostavách na ťažbu kryptomien, stále bežné v lacnejších AI zostavách.

Ribbon risery fungujú na Gen3 bez problémov. Na Gen4 fungujú väčšinou, ak sú krátke (pod 200 mm) a prostredie je elektromagneticky čisté. Na Gen5 sú hodom mincou aj pri 100 mm — konštrukcia kábla nikdy nebola navrhnutá na 32 GT/s.

Videli sme ribbon risery Gen4, ktoré sa na stole natrénovali bez problémov na x16 a potom pod záťažou, keď sa šasi zohrialo, spadli na Gen3. Videli sme ten istý riser fungovať na EPYC Genoa a na EPYC Turin sa nenatrénovať nad Gen3, pretože Gen5 PHY v Turine beží s tesnejšími časovými rezervami.

Verdikt: pre Gen3 v poriadku. Pre krátke trasy Gen4 prijateľné, ak to dodávateľ takto špecifikuje. Pre produkčné Gen5 neprijateľné.

3. Aktívne risery s retimerom

Retimer je čip zaradený priamo na riseri, ktorý obnoví hodinový signál a zregeneruje čistý priebeh. Z hľadiska integrity signálu v podstate polovicu dĺžky kábla zmaže — s retimerom v polovici trasy zvládnete 400–600 mm tam, kde pasívny riser končí pri 200 mm.

Pridáva €150–€300 na jedno GPU a jednotky nanosekúnd latencie (pre výpočty nepodstatné). Štandardná odpoveď na zadanie „dlhý kábel, Gen4/Gen5 musí fungovať“ — používa ich väčšina továrenských kitov pre Gen5.

4. Káblové prepojenia MCIO a SlimSAS

MCIO (Mini Cool Edge IO) vyhralo súboj o kabeláž serverov na Gen5. SlimSAS (SFF-8654) je starší príbuzný, bežný na Gen4. Oba nahrádzajú hranový konektor PCIe káblovým konektorom na oboch koncoch — základná doska vyvedie porty MCIO, doska riseru vyvedie porty MCIO a medzi nimi je kábel.

Kábel MCIO je kábel s diferenciálnymi pármi navrhnutý na 32 GT/s. 300–500 mm pri Gen5 x16 je bežná vec. Riadená impedancia, poriadne tienenie, konektory s pevnou západkou. Hranový konektor PCIe — 25 rokov starý štandard — je slabým miestom každého ribbon riseru; MCIO ho odstraňuje.

Typický reťazec kabeláže MCIO pre Gen5 s 8 GPU: základná doska → switch/bifurkačná doska → karty GPU riserov → GPU.

Verdikt: na Gen5 jedine MCIO, bodka. Ak Vám dodávateľ predáva Gen5 s 8 GPU bez MCIO, oponujte.

Integrita signálu, Gen4 verzus Gen5

Na Gen3 si s plochým káblom dovolíte takmer všetko. Na Gen5 nie — a poruchy sa neohlasujú vždy nahlas.

Najčastejší scenár: linka sa natrénuje na nižšiu z hodnôt, ktoré po dohode cez LTSSM (Link Training and Status State Machine) hlásia slot a zariadenie. Ak je kvalita signálu hraničná, linka sa pretrénuje — potichu, zvyčajne počas prvej ťažkej úlohy na GPU — a ustáli sa na Gen4 alebo Gen3. Systém beží ďalej. Priepustnosť PCIe klesne na polovicu. Benchmarky vyzerajú zle a nikto nevie prečo.

Bežné poruchy

Zhruba podľa toho, ako často sa prejavia v rackovej zostave so 4 alebo 8 GPU:

Pokles na Gen3 pod záťažou. Karta nabehne na Gen4 x16; šasi sa zohreje, prechodový odpor konektora narastie, rezerva oka sa zavrie, linka sa pretrénuje a ustáli na Gen3. Testy priepustnosti ukážu ~12 GB/s tam, kde sa čaká 24 GB/s. Príčina: hraničný pasívny riser, zvyčajne dlhý ribbon.

Občasné odpojenie. GPU zmizne z výpisu nvidia-smi uprostred úlohy, zvyčajne s hláseniami AER. Dosadnutie konektora pri teplotných cykloch, niekedy problém s napájaním, inokedy hraničný spoj, ktorý sa pri zahriatí rozpojí.

Šírka klesne z x16 na x8 alebo x4. Jedna či dve linky sú príliš zarušené na to, aby sa dohodli, a spojenie nabehne na tých zvyšných. Vidno to v lspci.

Zlyhanie trénovania pri štarte. Karta sa jednoducho neobjaví. Zle dosadnutý kábel alebo mŕtvy riser.

Opraviteľné chyby AER zaplavujúce dmesg. Hardvér opravuje chyby za behu; krok od poklesu generácie. Varovný výstrel — vyriešte to skôr, než sa to zhorší.

Porucha spojená s napájaním. Niektoré risery vedú 75 W zo slotu cez kábel. Tenké vodiče znamenajú, že GPU pri dlhodobej záťaži na okamih podpätí, napätie klesne a linka spadne. Pri továrenských riseroch zriedkavé, pri lacných plochých kábloch bežné.

Ako diagnostikovať

Tri štandardné linuxové nástroje: nvidia-smi, lspci, dmesg.

Skutočná šírka a rýchlosť linky:

$ nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.width.current --format=csv
0, 4, 16
1, 4, 16
2, 3, 16     ← train-down
3, 4, 16

GPU 2 beží na Gen3, nie na Gen4 — jeho riser si treba preveriť.

Zo strany PCIe:

$ sudo lspci -vvv -s <bus:dev.fn> | grep -E "LnkCap|LnkSta"
    LnkCap: Speed 32GT/s, Width x16
    LnkSta: Speed 16GT/s (downgraded), Width x16

(downgraded) je tá stopa — linka beží pod svojimi možnosťami.

Kernelový log na chyby AER:

$ sudo dmesg -T | grep -iE "aer|pcie"
pcieport 0000:60:01.0: AER: Corrected error received: 0000:61:00.0

Opravené chyby zatiaľ nie sú fatálne, ale signalizujú hraničnú linku. Pustite dlhodobú záťaž a sledujte ich frekvenciu; ak stúpa, riser dohráva.

Aby ste odlíšili kartu od riseru, presuňte podozrivé GPU do overene funkčného slotu. Ak sa príznak presunie s kartou → chyba je v karte. Ak zostane pri slote → chyba je v riseri.

Konkrétne príklady zo skutočných zostáv

4 GPU: 4× RTX 5090, EPYC Genoa, šasi 4U

Základná doska vyvedie 4× Gen5 x16. GPU sú uložené naplocho v lôžku 220 mm od slotu. Továrenský kit od dodávateľa: káble MCIO Gen5 do malých dosiek riserov, ktoré znova vyvedú hranový konektor PCIe priamo pri GPU.

Výsledok: 4× Gen5 x16, nula AER počas 72-hodinového behu Qwen2.5-VL 72B. Priepustnosť PCIe na jedno GPU 47–49 GB/s (teoreticky Gen5 x16 ≈ 63 GB/s; v praxi ≈ 50 GB/s po odpočítaní réžie protokolu). Čisté preto, že sme použili kit od dodávateľa presne podľa špecifikácie.

8 GPU: 8× RTX Pro 6000 Blackwell, EPYC Turin Dual, šasi 4U

Dva procesory, každý so 4× root complex Gen5 x16 vedenými cez MCIO na dosku v strede šasi. Priama bifurkácia — každé GPU dostane x16 priamo z CPU. Kábel MCIO na jedno GPU ≈ 280 mm.

Toto je na hrane toho, čo MCIO na Gen5 ešte zvládne čisto. Dva z ôsmich káblov v kite od dodávateľa majú zaradený retimer, zvyšných šesť je pasívnych. Rezervu potrebujú tie dva najvzdialenejšie od procesorov, bližšia šestica nie. Dodávateľ si to pred expedíciou premeral na tepelne zaťaženom prípravku.

Výsledok: 8× Gen5 x16 stabilne. Odber zo siete 4.1 kW pri dlhodobej záťaži. Za 48 hodín ani jedno pretrénovanie.

Tá istá zostava, risery z vlastnej réžie

Rovnaké šasi aj GPU, no ribbon risery „s certifikáciou pre Gen5“ od bezmenného dodávateľa:

• Dve z ôsmich GPU sa natrénovali na Gen4 x16 namiesto Gen5.
• Jedno GPU pri dlhodobej záťaži občas vypadlo.
• Pokles priepustnosti o ~15 % oproti zostave s továrenským kitom.

Úspora: ~€600. Cena ladenia: tri inžinierske dni. Strata výkonu: trvalá. Nerobte to.

Čo treba zvážiť pri dvoch zdrojoch

Rack so 4 GPU odoberá pod záťažou 1.8–2.4 kW, s 8 GPU 3.5–4.5 kW. Väčšina rackových šasi v tejto triede sa dodáva s 2× 2 kW zdrojom ATX.

Dva zdroje v šasi Kentino AI znamenajú rozdelené napájanie, nie redundanciu N+1. Každý zdroj napája presne vymedzenú časť systému — zdroj 1 typicky štyri GPU a základnú dosku, zdroj 2 zvyšné štyri GPU (alebo štyri GPU plus klietku diskov). Ak jeden zdroj zlyhá, prídete o tú časť, ktorú napájal. Nič medzi tým. Žiadne zdieľanie vetiev, žiadny failover.

Pri riseroch na tom záleží: 75 W na strane slotu, ktoré niektoré risery odoberajú, prichádza z toho zdroja, ktorý danú skupinu napája. Miešanie riserov medzi skupinami zdrojov spôsobom, ktorý dodávateľ nezamýšľal, prináša zemné slučky a rušenie na linke PCIe. Ďalší dôvod, prečo použiť továrenský kit. Celý pohľad na dimenzovanie zdrojov nájdete v W04 .

Prečo továrensky otestované kity riserov porazia vlastnú réžiu

Výrobca šasi, ktorý dodáva AI rack so 4 alebo 8 GPU, má za sebou desiatky až stovky takýchto zostáv v záťažovom teste. Kit riserov prešiel teplotnými cyklami, testom linky pri najhoršej okolitej teplote, overením proti konkrétnemu PHY na základnej doske a zvyčajne jednou revíziou po tom, čo prvá séria narazila na hraničný prípad. Ribbon kábel z bezmennej dielne otestoval niekto s osciloskopom pri izbovej teplote na jednej referenčnej doske — ak vôbec.

Rozdiel v cene: pár stoviek eur na celú zostavu. Rozdiel v spoľahlivosti: priepastný. Každá zostava Kentino AI používa kity riserov podľa špecifikácie výrobcu. Raz sme na želanie zákazníka skúsili alternatívu a stálo to dni ladenia, ktoré zákazník aj tak zaplatil. Záleží aj na záruke — GPU, ktoré zlyhá na neschválenom riseri, nie je vždy záručný prípad.

Na Gen5 je cestou vpred MCIO

Zhrnutie na jeden riadok: na Gen5 je slabým článkom hranový konektor PCIe a MCIO ho nahrádza. Každý rack Gen5 s 8 GPU, ktorý dnes stojí za špecifikovanie, používa MCIO po celej trase. Zostavy Gen4 môžu stále využiť SlimSAS alebo krátke MCIO; ploché káble Gen3 sú v poriadku výlučne pre hardvér Gen3.

Keď posudzujete zostavu Gen5 s 8 GPU od dodávateľa, položte tri otázky:

1. Ako vyzerá kabeláž medzi PCIe na základnej doske a GPU? (Musí zaznieť MCIO.)
2. Majú niektoré káble retimer — ktoré a prečo? (Dodávateľ, ktorý svoju zostavu pozná, odpovie konkrétne.)
3. Aký je nameraný stav linky a výskyt AER pri plne osadenom a tepelne zaťaženom šasi? (8× Gen5 x16, nula alebo takmer nula AER za 24+ hodín.)

Vyhýbavé odpovede znamenajú, že si dodávateľ prácu neurobil.

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Pripomienky a opravy uvítame na info@kentino.com.