GPU risery v AI serverech: kdy je potřebujete a co se může pokazit

GPU riser je kabel, deska nebo sestava, která přesune PCIe slot z místa, kam jej umístila základní deska, tam, kde musí být GPU. V desktopu s jednou kartou riser neřešíte. Ve 4U racku se čtyřmi RTX 5090 nebo u dvoupaticového EPYCu s osmi kartami neřešíte skoro nic jiného. Riser je místem, kde tiše umírá integrita signálu, kde se linka nenápadně přetrénuje na Gen3 a kde sestava, která na stole v benchmarku vypadá bezvadně, začne v produkci denně ztrácet jedno GPU.

Tohle je praktický přehled: co risery jsou, kdy je potřebujete, čtyři kategorie, proč Gen5 všechno mění, jak diagnostikovat a co si nechat specifikovat.

Proč risery vůbec existují

Základní deska umisťuje sloty PCIe x16 zhruba 20 mm od sebe. Dvouslotové GPU je 40–70 mm tlusté. Ta matematika nevychází. Jakmile chcete v šasi víc než dvě karty, 3slotové karty nebo orientaci podle rackového proudění vzduchu zepředu dozadu, musí se GPU fyzicky přesunout.

Tři praktické důvody, proč sestava risery potřebuje:

Vejít se do šasi. Rackové 4U šasi pokládá GPU naplocho, rovnoběžně se základní deskou, podél cesty proudění vzduchu. Sloty PCIe na základní desce jsou na to kolmé. Každé GPU v rackovém šasi s plochou montáží je na riseru, tečka.

Tepelné oddělení. I když se sloty fyzicky vejdou, natěsnání GPU k sobě znamená, že každá karta nasává výfuk té sousední. Krátký riser je oddělí o 40–80 mm a dá každé kartě vlastní nasávací rovinu. U karet s 350 W je to při trvalé zátěži rozdíl mezi 72 °C a 86 °C.

Rozestupy u více GPU. Sestava s 8 GPU ve 4U/5U šasi nemůže sloty na základní desce použít vůbec. Deska nabízí čtyři nebo pět slotů x16, šasi jich potřebuje osm v řadě podél cesty proudění vzduchu. Systém riserů je celým mechanickým rozhraním mezi nimi.

Čtyři kategorie, se kterými se reálně potkáte

Kategorie riserů seřazené podle délky kabelu a vhodnosti pro Gen5. MCIO je jediné dimenzované pro produkční sestavy Gen5 s 8 GPU.

1. Risery s pevným PCB (adaptéry 1U / 2U)

Plochá deska plošných spojů, která se zasune do slotu na základní desce a nabídne sloty PCIe pod pravým úhlem nebo přesunuté o 30–60 mm. Standard v hustých 1U/2U serverech. Krátké, pasivní, továrně navržené, vázané na konkrétní šasi. Pokud je součástí dodávky Vašeho šasi, použijte je.

2. Páskové a flex risery

Klasika svépomocných sestav. Plochý ohebný kabel o délce 150–300 mm, na jednom konci slot PCIe, na druhém hranový konektor PCIe. Pod 100 €. Všude v sestavách pro těžbu kryptoměn, stále běžný i v levnějších AI sestavách.

Páskové risery fungují v Gen3 bez problémů. V Gen4 fungují většinou, pokud jsou krátké (pod 200 mm) a prostředí je elektromagneticky čisté. V Gen5 jsou hod mincí i na 100 mm — konstrukce kabelu nebyla pro 32 GT/s nikdy navržena.

Viděli jsme páskové risery pro Gen4, které se na stole bez problémů natrénovaly na x16 a pak pod zátěží, jakmile se šasi zahřálo, spadly na Gen3. Viděli jsme tentýž riser fungovat na EPYC Genoa a selhat nad Gen3 na EPYC Turin, protože Gen5 PHY u Turinu pracuje s těsnějšími časovými rezervami.

Verdikt: pro Gen3 v pořádku. Pro krátké trasy v Gen4 přijatelné, pokud to dodavatel takto specifikuje. Pro produkční Gen5 nepřijatelné.

3. Aktivní risery s retimerem

Retimer je čip zařazený přímo na riseru, který obnoví hodinový signál a zregeneruje čistý průběh. Z hlediska integrity signálu v podstatě půlí délku kabelu — s retimerem uprostřed trasy zvládnete 400–600 mm tam, kde pasivní riser umírá na 200 mm.

Přidá 150–300 € na GPU a latenci v jednotkách nanosekund (pro výpočty bezvýznamnou). Standardní odpověď na zadání „dlouhý kabel, Gen4/Gen5 musí fungovat“ — většina továrních sad pro Gen5 je používá.

4. Kabelová propojení MCIO a SlimSAS

MCIO (Mini Cool Edge IO) vyhrálo souboj o serverovou kabeláž v Gen5. SlimSAS (SFF-8654) je starší příbuzný, běžný v Gen4. Obojí nahrazuje hranový konektor PCIe kabelovým konektorem na obou koncích — základní deska nabízí porty MCIO, deska riseru nabízí porty MCIO a mezi nimi je kabel.

Kabel MCIO je kabel s diferenciálními páry navržený pro 32 GT/s. 300–500 mm při Gen5 x16 je běžná rutina. Řízená impedance, pořádné stínění, konektory s pevnou západkou. Hranový konektor PCIe — standard starý 25 let — je slabým místem každého páskového riseru; MCIO jej odstraňuje.

Typický kabelážní řetězec MCIO pro Gen5 s 8 GPU: základní deska → switch/bifurkační deska → riser karty pro GPU → GPU.

Verdikt: v Gen5 jedině MCIO, tečka. Pokud Vám dodavatel nabízí Gen5 s 8 GPU bez MCIO, ozvěte se.

Integrita signálu, Gen4 vs Gen5

V Gen3 si s páskovým kabelem můžete dovolit skoro cokoli. V Gen5 už ne a projevy selhání nebývají vždy hlasité.

Nejčastější vzorec: linka se po vyjednání LTSSM (Link Training and Status State Machine) natrénuje na nižší z hodnot, které hlásí slot a zařízení. Je-li kvalita signálu hraniční, linka se přetrénuje — tiše, obvykle během prvního náročného workloadu na GPU — a ustálí se na Gen4 nebo Gen3. Systém běží dál. Propustnost PCIe se půlí. Benchmarky vypadají divně a nikdo neví proč.

Časté režimy selhání

Zhruba v pořadí, jak často kousnou rackovou sestavu se 4 nebo 8 GPU:

Přetrénování na Gen3 pod zátěží. Karta nabootuje na Gen4 x16; šasi se zahřeje, přechodový odpor konektoru se plíživě zvýší, rezerva oka se uzavře, linka se přetrénuje a ustálí na Gen3. Testy propustnosti ukazují ~12 GB/s tam, kde se čeká 24 GB/s. Příčina: hraniční pasivní riser, obvykle dlouhý páskový.

Občasné odpojení. GPU zmizí z nvidia-smi uprostřed úlohy, obvykle s hláškami AER. Dosednutí konektoru při teplotním cyklování, někdy problém s napájením, někdy hraniční pájený spoj, který se v teple rozpojí.

Šířka klesne z x16 na x8 nebo x4. Jedna či dvě linky jsou příliš zarušené na to, aby se vyjednaly, a spojení naběhne na těch zbývajících. Vidět v lspci.

Selhání natrénování při startu. Karta se prostě neobjeví. Dosednutí kabelu, nebo mrtvý riser.

Opravitelné chyby AER zaplavující dmesg. Hardware opravuje chyby za běhu; krok od přetrénování na nižší rychlost. Varovný výstřel — řešte to dřív, než se to zhorší.

Selhání kvůli napájení. Některé risery vedou 75 W ze slotu přes kabel. Tenké vodiče znamenají, že GPU pod trvalou zátěží na okamžik podpětí, napětí poklesne a spojení spadne. U továrních riserů vzácné, u levných páskových kabelů běžné.

Jak diagnostikovat

Tři standardní linuxové nástroje: nvidia-smi, lspci, dmesg.

Skutečná šířka a rychlost linky:

$ nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.width.current --format=csv
0, 4, 16
1, 4, 16
2, 3, 16     ← přetrénováno níž
3, 4, 16

GPU 2 běží na Gen3 místo Gen4 — jeho riser je třeba prověřit.

Ze strany PCIe:

$ sudo lspci -vvv -s <bus:dev.fn> | grep -E "LnkCap|LnkSta"
    LnkCap: Speed 32GT/s, Width x16
    LnkSta: Speed 16GT/s (downgraded), Width x16

(downgraded) je ten signál — linka běží pod svými možnostmi.

Jádrový buffer kvůli chybám AER:

$ sudo dmesg -T | grep -iE "aer|pcie"
pcieport 0000:60:01.0: AER: Corrected error received: 0000:61:00.0

Opravené chyby zatím nejsou fatální, ale signalizují hraniční linku. Spusťte trvalou zátěž a sledujte jejich frekvenci; pokud roste, riser dosluhuje.

Abyste odlišili kartu od riseru, přesuňte podezřelé GPU do slotu, o kterém víte, že je v pořádku. Projev se přesune s kartou → vina je na kartě. Zůstane u slotu → vina je na riseru.

Konkrétní příklady ze skutečných sestav

4 GPU: 4× RTX 5090, EPYC Genoa, 4U šasi

Základní deska nabízí 4× Gen5 x16. GPU jsou naplocho uložena v kolébce 220 mm od slotu. Tovární sada dodavatele: kabely MCIO pro Gen5 k malým riser deskám, které znovu nabídnou hranový konektor PCIe přímo u GPU.

Výsledek: 4× Gen5 x16, nula AER během 72hodinového běhu Qwen2.5-VL 72B. Propustnost PCIe na GPU 47–49 GB/s (teoreticky Gen5 x16 ≈ 63 GB/s; v praxi ≈ 50 GB/s po odečtení režie protokolu). Čisté proto, že jsme použili dodavatelskou sadu přesně podle specifikace.

8 GPU: 8× RTX Pro 6000 Blackwell, EPYC Turin Dual, 4U šasi

Dva procesory, každý se 4× root komplexem Gen5 x16 vedeným přes MCIO na desku uprostřed šasi. Přímá bifurkace — každé GPU dostane x16 z procesoru. Kabel MCIO na GPU ≈ 280 mm.

Tohle je na hraně toho, co MCIO v Gen5 ještě zvládne čistě. Dva z osmi kabelů v dodavatelské sadě mají retimer v cestě, zbylých šest je pasivních. Ty dva nejvzdálenější od procesorů tu rezervu potřebují, bližších šest nikoli. Dodavatel si to před expedicí proměřil na tepelně zatíženém přípravku.

Výsledek: stabilních 8× Gen5 x16. Odběr ze zásuvky 4.1 kW při trvalé zátěži. Žádné přetrénování za 48 hodin.

Stejná sestava, svépomocné risery

Stejné šasi i GPU, ale páskové risery od neznačkového dodavatele „certifikované pro Gen5“:

• Dvě z osmi GPU se natrénovaly na Gen4 x16 místo Gen5.
• Jedno GPU pod trvalou zátěží občas vypadávalo.
• ~15% pokles propustnosti oproti sestavě s tovární sadou.

Úspora: ~600 €. Cena ladění: tři člověkodny inženýra. Ztráta propustnosti: trvalá. Nedělejte to.

Co zvážit u dvou zdrojů

Rack se 4 GPU odebírá pod zátěží 1.8–2.4 kW, s 8 GPU 3.5–4.5 kW. Většina rackových šasi této třídy se dodává s 2× 2 kW ATX zdroji.

Dvojice zdrojů v šasi Kentino AI znamená rozdělené napájení, nikoli redundanci N+1. Každý zdroj napájí přesně vymezenou část systému — typicky zdroj 1 napájí čtyři GPU a základní desku, zdroj 2 zbylá čtyři GPU (nebo čtyři GPU plus klec na disky). Pokud jeden zdroj selže, přijdete o tu část, kterou napájel. Nic mezi tím. Žádné sdílení větví, žádný failover.

Pro risery to má význam: oněch 75 W na straně slotu, které některé risery odebírají, pochází ze zdroje napájejícího danou skupinu. Míchání riserů napříč skupinami zdrojů způsobem, se kterým dodavatel nepočítal, přináší zemní smyčky a rušení na PCIe lince. Další důvod, proč použít tovární sadu. Viz W04 , kde najdete kompletní pohled na dimenzování zdrojů.

Proč továrně testované sady riserů porazí svépomoc

Dodavatel šasi, který dodává AI rack se 4 nebo 8 GPU, má za sebou desítky až stovky takových sestav v zátěžovém testu. Sada riserů prošla teplotním cyklováním, testem linky při nejhorší okolní teplotě, validací proti konkrétnímu PHY základní desky a obvykle jednou revizí poté, co první série narazila na okrajový případ. Svépomocný páskový kabel od neznačkového dodavatele otestoval někdo s osciloskopem při pokojové teplotě na jedné referenční desce — pokud vůbec.

Rozdíl v ceně: pár set eur na celou sestavu. Rozdíl ve spolehlivosti: obrovský. Každá AI sestava Kentino používá sady riserů podle specifikace dodavatele. Jednou jsme na žádost zákazníka zkusili alternativu a stálo to dny ladění, které zákazník stejně zaplatil. Roli hraje i záruka — GPU, které selže na neschváleném riseru, nemusí být vždy záruční případ.

V Gen5 je cestou vpřed MCIO

Shrnutí na jeden řádek: v Gen5 je slabým článkem hranový konektor PCIe a MCIO jej nahrazuje. Každý rack Gen5 s 8 GPU, který dnes stojí za specifikaci, používá MCIO po celé trase. Sestavy v Gen4 mohou stále využít SlimSAS nebo krátké MCIO; páskové kabely pro Gen3 jsou v pořádku jen pro hardware Gen3.

Při posuzování dodavatelské sestavy Gen5 s 8 GPU položte tři otázky:

1. Jak vypadá kabeláž mezi PCIe na základní desce a GPU? (Musí zaznít MCIO.)
2. Jsou některé kabely osazeny retimerem — které a proč? (Dodavatel, který svou sestavu zná, odpoví konkrétně.)
3. Jaký je naměřený stav linek a frekvence AER na plně osazeném, tepelně zatíženém šasi? (8× Gen5 x16, nula nebo téměř nula AER za 24 a více hodin.)

Vágní odpovědi znamenají, že dodavatel tuhle práci neudělal.

Toto je součást Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je propojují. Připomínky a opravy uvítáme na info@kentino.com.