Ryzery GPU w serwerach AI: kiedy są potrzebne i co się psuje

Riser GPU to kabel, płytka lub zespół, który przenosi slot PCIe z miejsca wyznaczonego przez płytę główną tam, gdzie musi znaleźć się karta graficzna. W komputerze biurkowym z jedną kartą o riserach się nie myśli. W racku 4U z czterema RTX 5090 albo w dwuprocesorowym EPYC z ośmioma kartami nie myśli się prawie o niczym innym. To właśnie na riserze po cichu umiera integralność sygnału, łącze bezszelestnie przełącza się na Gen3, a konfiguracja, która na stole testowym wypada bez zarzutu, w produkcji zaczyna gubić jedno GPU dziennie.

Oto praktyczne kompendium: czym są risery, kiedy są potrzebne, jakie są cztery kategorie, dlaczego Gen5 zmienia wszystko, jak diagnozować i co zamawiać.

Dlaczego risery w ogóle istnieją

Płyta główna rozmieszcza sloty PCIe x16 co około 20 mm. Dwuslotowa karta GPU ma 40–70 mm grubości. Rachunek się nie zgadza. Gdy w obudowie mają znaleźć się więcej niż dwie karty, karty trzyslotowe albo układ przepływu powietrza od przodu do tyłu racka, GPU trzeba przenieść fizycznie.

Trzy praktyczne powody, dla których konfiguracja wymaga riserów:

Dopasowanie do obudowy. Obudowa rack 4U układa karty GPU płasko, równolegle do płyty głównej, wzdłuż ścieżki przepływu powietrza. Sloty PCIe płyty głównej są do niej prostopadłe. Każde GPU w obudowie rack z montażem płaskim siedzi na riserze — bez wyjątków.

Izolacja termiczna. Nawet gdy karty fizycznie mieszczą się w slotach, upakowanie ich jedna przy drugiej sprawia, że każda zasysa wydmuch sąsiadki. Krótki riser rozsuwa je o 40–80 mm i daje każdej karcie własną płaszczyznę zasysania. Przy kartach 350 W to różnica między 72 °C a 86 °C pod długotrwałym obciążeniem.

Odstępy przy wielu GPU. Konfiguracja z ośmioma GPU w obudowie 4U/5U w ogóle nie może korzystać ze slotów płyty głównej. Płyta udostępnia cztery lub pięć slotów x16, a obudowa musi ustawić osiem w rzędzie wzdłuż ścieżki powietrza. System riserów stanowi cały interfejs mechaniczny między jednym a drugim.

Cztery kategorie, które spotyka się w praktyce

Kategorie riserów uszeregowane według długości kabla i przydatności do Gen5. Tylko MCIO ma parametry do produkcyjnych konfiguracji Gen5 z 8 GPU.

1. Risery ze sztywną płytką PCB (adaptery 1U / 2U)

Płaska płytka PCB wpinana w slot płyty głównej, która udostępnia sloty PCIe pod kątem prostym lub przesunięte o 30–60 mm. Standard w gęstych serwerach 1U/2U. Krótkie, pasywne, zaprojektowane fabrycznie, dopasowane do konkretnej obudowy. Jeśli obudowa jest w taki wyposażona — warto go użyć.

2. Risery taśmowe i elastyczne

Klasyka konstrukcji DIY. Płaski, elastyczny kabel o długości 150–300 mm, slot PCIe z jednej strony, złącze krawędziowe PCIe z drugiej. Poniżej €100. Wszechobecne w koparkach kryptowalut, wciąż częste w budżetowych konfiguracjach AI.

Risery taśmowe działają w Gen3 bez dramatów. W Gen4 działają przez większość czasu, o ile są krótkie (poniżej 200 mm), a otoczenie elektromagnetyczne jest czyste. W Gen5 to rzut monetą nawet przy 100 mm — konstrukcja kabla nigdy nie była projektowana pod 32 GT/s.

Widzieliśmy risery taśmowe Gen4, które na stole testowym trenowały łącze na x16 bez zarzutu, a pod obciążeniem — gdy obudowa się nagrzewała — spadały do Gen3. Widzieliśmy ten sam riser działający na EPYC Genoa i niepotrafiący wytrenować łącza powyżej Gen3 na EPYC Turin, ponieważ warstwa PHY Gen5 w Turin pracuje z ciaśniejszymi marginesami czasowymi.

Werdykt: w porządku dla Gen3. Dopuszczalne przy krótkich odcinkach Gen4, jeśli producent to dopuszcza. Niedopuszczalne w produkcji Gen5.

3. Risery aktywne, oparte na retimerach

Retimer to układ scalony umieszczony w torze risera, który odtwarza zegar i regeneruje czysty sygnał. Z punktu widzenia integralności sygnału skutecznie połowi długość kabla — 400–600 mm z retimerem w połowie trasy tam, gdzie riser pasywny umiera przy 200 mm.

Dokłada €150–€300 na GPU i opóźnienie rzędu pojedynczych nanosekund (bez znaczenia dla obliczeń). Standardowa odpowiedź na wymaganie „długi kabel, Gen4/Gen5 musi działać” — używa ich większość fabrycznych zestawów Gen5.

4. Połączenia kablowe MCIO i SlimSAS

MCIO (Mini Cool Edge IO) wygrało walkę o okablowanie serwerów Gen5. SlimSAS (SFF-8654) to starszy kuzyn, częsty przy Gen4. Oba zastępują złącze krawędziowe PCIe złączem kablowym po obu stronach — płyta główna udostępnia porty MCIO, płytka risera udostępnia porty MCIO, a między nimi biegnie kabel.

Kabel MCIO to kabel z parami różnicowymi zaprojektowany pod 32 GT/s. 300–500 mm przy Gen5 x16 to rutyna. Kontrolowana impedancja, porządne ekranowanie, pewnie zatrzaskujące się złącza. Złącze krawędziowe PCIe — standard sprzed 25 lat — jest słabym punktem każdego risera taśmowego; MCIO je eliminuje.

Typowy łańcuch okablowania MCIO dla Gen5 z 8 GPU: płyta główna → przełącznik/płytka bifurkacji → karty riserów GPU → GPU.

Werdykt: przy Gen5 tylko MCIO, bez dyskusji. Jeśli dostawca sprzedaje Gen5 z 8 GPU bez MCIO, warto zadać trudne pytania.

Integralność sygnału, Gen4 a Gen5

W Gen3 kablem taśmowym można zrobić prawie wszystko. W Gen5 już nie, a tryby awarii nie zawsze są głośne.

Najczęstszy wzorzec: łącze trenuje się do niższej z wartości raportowanych przez slot i urządzenie po negocjacji LTSSM (Link Training and Status State Machine). Jeśli jakość sygnału jest graniczna, łącze przetrenuje się ponownie — po cichu, zwykle przy pierwszym ciężkim obciążeniu karty — i ustabilizuje na Gen4 lub Gen3. System działa dalej. Przepustowość PCIe spada o połowę. Benchmarki wyglądają źle i nikt nie wie dlaczego.

Typowe tryby awarii

Z grubsza w kolejności częstości, z jaką dotykają konfiguracji rack z 4 lub 8 GPU:

Zejście łącza do Gen3 pod obciążeniem. Karta startuje na Gen4 x16; obudowa się nagrzewa, rezystancja styku złącza rośnie, margines oka się zamyka, łącze trenuje się ponownie i ustala na Gen3. Testy przepustowości pokazują ~12 GB/s tam, gdzie oczekiwane jest 24 GB/s. Przyczyna: graniczny riser pasywny, zwykle długa taśma.

Przerywane rozłączenia. GPU znika z nvidia-smi w trakcie zadania, zwykle z komunikatami AER. Osadzenie złącza przy cyklach termicznych, czasem problem z zasilaniem, czasem graniczne połączenie lutowane rozchodzące się pod wpływem ciepła.

Spadek szerokości z x16 do x8 lub x4. Jedna lub dwie linie są zbyt zaszumione, by je wynegocjować, a łącze wstaje na tych, które przetrwały. Widoczne w lspci.

Niepowodzenie treningu łącza przy starcie. Karta po prostu się nie pojawia. Osadzenie kabla albo martwy riser.

Korygowalne błędy AER zalewające dmesg. Sprzęt naprawia błędy w locie; stąd już tylko krok do zejścia łącza. Strzał ostrzegawczy — trzeba to naprawić, zanim się pogorszy.

Awaria związana z zasilaniem. Niektóre risery przesyłają 75 W ze slotu przez kabel. Cienkie przewody sprawiają, że karta pod ciągłym obciążeniem na moment traci zasilanie, napięcie spada, a łącze pada. Rzadkie przy riserach fabrycznych, częste przy tanich taśmach.

Jak diagnozować

Trzy standardowe narzędzia Linuksa: nvidia-smi, lspci, dmesg.

Rzeczywista szerokość i prędkość łącza:

$ nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.width.current --format=csv
0, 4, 16
1, 4, 16
2, 3, 16     ← zejście łącza
3, 4, 16

GPU 2 pracuje na Gen3 zamiast Gen4 — jego riser wymaga sprawdzenia.

Od strony PCIe:

$ sudo lspci -vvv -s <bus:dev.fn> | grep -E "LnkCap|LnkSta"
    LnkCap: Speed 32GT/s, Width x16
    LnkSta: Speed 16GT/s (downgraded), Width x16

(downgraded) to sygnał ostrzegawczy — łącze pracuje poniżej swoich możliwości.

Bufor jądra pod kątem błędów AER:

$ sudo dmesg -T | grep -iE "aer|pcie"
pcieport 0000:60:01.0: AER: Corrected error received: 0000:61:00.0

Błędy skorygowane nie są jeszcze krytyczne, ale wskazują na graniczne łącze. Warto uruchomić obciążenie ciągłe i obserwować ich tempo; jeśli rośnie, riser zaczyna zawodzić.

Aby odróżnić winę karty od winy risera, należy przełożyć podejrzane GPU do sprawdzonego slotu. Objaw wędruje z kartą → winna karta. Zostaje przy slocie → winny riser.

Konkretne przykłady z rzeczywistych konfiguracji

4 GPU: 4× RTX 5090, EPYC Genoa, obudowa 4U

Płyta główna udostępnia 4× Gen5 x16. GPU zamontowane płasko w kołysce 220 mm od slotu. Fabryczny zestaw producenta: kable MCIO Gen5 do małych płytek riserów, które odtwarzają złącze krawędziowe PCIe przy karcie.

Wynik: 4× Gen5 x16, zero błędów AER przez 72 godziny pracy z Qwen2.5-VL 72B. Przepustowość PCIe na GPU 47–49 GB/s (teoretycznie Gen5 x16 ≈ 63 GB/s; realnie ≈ 50 GB/s po narzucie protokołu). Czysto, bo użyliśmy zestawu producenta zgodnie ze specyfikacją.

8 GPU: 8× RTX Pro 6000 Blackwell, EPYC Turin Dual, obudowa 4U

Dwa procesory, każdy z czterema kompleksami root Gen5 x16 poprowadzonymi przez MCIO do płytki w środku obudowy. Prosta bifurkacja — każde GPU dostaje x16 z CPU. Kabel MCIO na GPU ≈ 280 mm.

To granica czystego MCIO przy Gen5. Dwa z ośmiu kabli w zestawie producenta mają retimery w torze; pozostałe sześć jest pasywnych. Dwa najdalsze od procesorów potrzebują zapasu, bliższe sześć nie. Producent scharakteryzował to przed wysyłką na stanowisku obciążonym termicznie.

Wynik: stabilne 8× Gen5 x16. Pobór z sieci 4.1 kW pod obciążeniem ciągłym. Brak ponownych treningów łącza przez 48 godzin.

Ta sama konfiguracja, risery DIY

Ta sama obudowa i te same GPU, ale taśmowe risery „z certyfikatem Gen5” od przypadkowego dostawcy:

• Dwa z ośmiu GPU wytrenowały łącze na Gen4 x16 zamiast Gen5.
• Jedno GPU okresowo odpadało pod obciążeniem ciągłym.
• ~15% spadku przepustowości względem konfiguracji z zestawem fabrycznym.

Oszczędność: ~€600. Koszt debugowania: trzy dni pracy inżyniera. Strata przepustowości: trwała. Nie warto tego robić.

Kwestia zasilania z dwóch zasilaczy

Rack z 4 GPU pobiera pod obciążeniem 1.8–2.4 kW; z 8 GPU — 3.5–4.5 kW. Większość obudów rack tej klasy jest wyposażona w 2× zasilacz ATX 2 kW.

Dwa zasilacze w obudowie Kentino AI to podział zasilania, a nie redundancja N+1. Każdy zasilacz obsługuje określoną część systemu — zwykle zasilacz 1 zasila cztery GPU i płytę główną, a zasilacz 2 pozostałe cztery GPU (albo cztery GPU oraz kosz na dyski). Awaria jednego zasilacza oznacza utratę tej części, którą zasilał. Nic pomiędzy. Bez współdzielenia szyn, bez przełączania awaryjnego.

Dla riserów ma to znaczenie: 75 W pobierane po stronie slotu przez niektóre risery pochodzi z tego zasilacza, który obsługuje daną grupę. Mieszanie riserów pomiędzy grupami zasilaczy w sposób nieprzewidziany przez producenta wprowadza pętle masy i zakłócenia na łączu PCIe. To kolejny powód, by korzystać z zestawu fabrycznego. Pełny obraz doboru zasilaczy znajdą Państwo w W04.

Dlaczego fabrycznie testowane zestawy riserów biją DIY

Producent obudów, który wysyła racki AI z 4 lub 8 GPU, wygrzał dziesiątki, a nawet setki takich konfiguracji. Zestaw riserów przeszedł cykle termiczne, testy łącza w najgorszej przewidywanej temperaturze otoczenia, walidację względem konkretnej warstwy PHY płyty głównej i zwykle jedną rewizję, gdy pierwsza partia trafiła na przypadek brzegowy. Taśma DIY od przypadkowego dostawcy została przetestowana — o ile w ogóle — przez kogoś z oscyloskopem, w temperaturze pokojowej, na jednej płycie referencyjnej.

Różnica w cenie: kilkaset euro w skali całej konfiguracji. Różnica w niezawodności: ogromna. Każda konfiguracja Kentino AI korzysta z zestawów riserów zgodnych ze specyfikacją producenta. Raz, na życzenie klienta, spróbowaliśmy inaczej i kosztowało to dni debugowania, za które klient i tak zapłacił. Liczy się też gwarancja — GPU, które padnie na niezatwierdzonym riserze, nie zawsze podlega gwarancji.

Przy Gen5 przyszłością jest MCIO

Wniosek w jednym zdaniu: przy Gen5 słabym ogniwem jest złącze krawędziowe PCIe, a MCIO je zastępuje. Każdy wart zamówienia rack Gen5 z 8 GPU używa dziś MCIO na całej trasie. Konfiguracje Gen4 mogą nadal korzystać ze SlimSAS lub krótkiego MCIO; kable taśmowe Gen3 nadają się wyłącznie do sprzętu Gen3.

Oceniając ofertę dostawcy na Gen5 z 8 GPU, warto zadać trzy pytania:

1. Jak wygląda okablowanie między PCIe płyty głównej a GPU? (Musi paść MCIO.)
2. Czy któreś kable mają retimery — które i dlaczego? (Dostawca, który zna swoją konstrukcję, odpowie konkretnie.)
3. Jaki jest zmierzony stan łącza i tempo błędów AER w pełni obsadzonej, obciążonej termicznie obudowie? (8× Gen5 x16, zero lub niemal zero AER przez ponad 24 godziny.)

Wymijające odpowiedzi oznaczają, że dostawca nie odrobił pracy domowej.

To część Kentino Wiki — serii referencyjnej o obliczeniach AI, robotyce i systemach, które je łączą. Komentarze i poprawki prosimy kierować na info@kentino.com.