GPU-Riser im KI-Server-Build: wann Sie sie brauchen und was dabei kaputtgeht

Ein GPU-Riser ist das Kabel, die Platine oder die Baugruppe, die einen PCIe-Slot von dort, wo ihn das Mainboard platziert, dorthin verlegt, wo die GPU sitzen muss. In einem Desktop mit einer Karte denkt niemand über Riser nach. In einem 4U-Rack mit vier RTX 5090 oder auf einem Dual-Socket-EPYC mit acht Karten denken Sie an kaum etwas anderes. Der Riser ist die Stelle, an der die Signalintegrität leise stirbt, an der der Link unbemerkt auf Gen3 heruntertrainiert und an der ein Build, der auf dem Prüfstand sauber benchmarkt, im Produktivbetrieb täglich eine GPU verliert.

Dies ist die praktische Referenz: was Riser sind, wann Sie sie brauchen, die vier Kategorien, warum Gen5 alles verändert, wie Sie diagnostizieren und was Sie ausschreiben sollten.

Warum es Riser überhaupt gibt

Ein Mainboard setzt PCIe-x16-Slots im Abstand von ~20 mm. Eine Dual-Slot-GPU ist 40–70 mm dick. Die Rechnung geht nicht auf. Sobald Sie mehr als zwei Karten in einem Gehäuse wollen, 3-Slot-Karten einsetzen oder den Rack-Luftstrom von vorn nach hinten ausrichten, müssen die GPUs physisch umgesetzt werden.

Drei praktische Gründe, warum ein Build Riser braucht:

Gehäusepassung. Ein 4U-Rackgehäuse legt die GPUs flach, parallel zum Mainboard, entlang des Luftstrompfads. Die PCIe-Slots des Mainboards stehen senkrecht dazu. Jede GPU in einem Rackgehäuse mit Flachmontage hängt an einem Riser, Punkt.

Thermische Entkopplung. Selbst wenn die Slots physisch passen, saugt bei dicht gepackten GPUs jede Karte die Abluft der nächsten ein. Ein kurzer Riser trennt sie um 40–80 mm und gibt jeder Karte eine eigene Ansaugebene. Bei 350-W-Karten ist das der Unterschied zwischen 72 °C und 86 °C unter Dauerlast.

Abstände bei Multi-GPU-Systemen. Ein 8-GPU-Build in einem 4U/5U-Gehäuse kann die Mainboard-Slots gar nicht nutzen. Das Mainboard stellt vier oder fünf x16-Slots bereit; das Gehäuse muss acht in einer Reihe entlang des Luftstrompfads anbieten. Das Riser-System ist die gesamte mechanische Schnittstelle zwischen beiden.

Die vier Kategorien, die Ihnen tatsächlich begegnen

Riser-Kategorien nach Kabellänge und Gen5-Eignung. Nur MCIO ist für 8-GPU-Gen5-Builds im Produktivbetrieb spezifiziert.

1. Starre Platinen-Riser (1U-/2U-Adapter)

Flache Platine, die im Mainboard-Slot steckt und PCIe-Slots im rechten Winkel oder um 30–60 mm versetzt bereitstellt. Standard in dichten 1U-/2U-Servern. Kurz, passiv, ab Werk ausgelegt, gehäusespezifisch. Wenn Ihr Gehäuse einen mitbringt, nehmen Sie ihn.

2. Flachband- und Flex-Riser

Das klassische Eigenbau-Teil. Flaches, flexibles Kabel, 150–300 mm lang, an einem Ende ein PCIe-Slot, am anderen ein PCIe-Steckkontakt. Unter 100 €. Allgegenwärtig in Crypto-Mining-Builds, in günstigen KI-Builds weiterhin verbreitet.

Flachband-Riser laufen bei Gen3 ohne Drama. Bei Gen4 funktionieren sie meistens, sofern sie kurz sind (unter 200 mm) und die EMV-Umgebung sauber ist. Bei Gen5 sind sie selbst bei 100 mm Glückssache – der Kabelaufbau war nie für 32 GT/s ausgelegt.

Wir haben Gen4-Flachband-Riser gesehen, die auf dem Prüfstand sauber mit x16 trainieren und unter Last auf Gen3 fallen, sobald sich das Gehäuse erwärmt. Wir haben denselben Riser auf EPYC Genoa laufen sehen, während er auf EPYC Turin nicht über Gen3 hinauskam, weil der Gen5-PHY von Turin mit engeren Timing-Reserven arbeitet.

Fazit: für Gen3 in Ordnung. Für kurze Gen4-Strecken akzeptabel, wenn der Hersteller es freigibt. Für Gen5 im Produktivbetrieb nicht akzeptabel.

3. Aktive Riser mit Retimer

Ein Retimer ist ein Chip in der Strecke des Risers, der den Takt zurückgewinnt und ein sauberes Signal neu erzeugt. Für die Signalintegrität halbiert er die Kabellänge faktisch – 400–600 mm mit einem Retimer in der Streckenmitte, wo ein passiver Riser bei 200 mm aussteigt.

Kostet zusätzlich 150–300 € pro GPU und fügt Latenz im einstelligen Nanosekundenbereich hinzu (für Compute irrelevant). Die Standardantwort auf „langes Kabel, Gen4/Gen5 muss laufen“ – die meisten Gen5-Kits ab Werk setzen sie ein.

4. Kabelverbindungen mit MCIO und SlimSAS

MCIO (Mini Cool Edge IO) hat das Rennen um die Gen5-Serververkabelung gewonnen. SlimSAS (SFF-8654) ist der ältere Verwandte und bei Gen4 verbreitet. Beide ersetzen den PCIe-Steckkontakt an beiden Enden durch einen Kabelsteckverbinder – das Mainboard stellt MCIO-Ports bereit, die Riser-Platine ebenfalls, dazwischen liegt das Kabel.

MCIO-Kabel sind Differenzialpaar-Kabel, die für 32 GT/s ausgelegt sind. 300–500 mm bei Gen5 x16 sind Routine. Impedanzkontrolliert, sauber geschirmt, die Steckverbinder rasten sicher ein. Der PCIe-Steckkontakt – ein 25 Jahre alter Standard – ist der Schwachpunkt jedes Flachband-Risers; MCIO beseitigt ihn.

Typische MCIO-Verkabelungskette für 8-GPU-Gen5: Mainboard → Switch-/Bifurcation-Board → GPU-Riser-Karten → GPUs.

Fazit: bei Gen5 MCIO, Punkt. Wenn ein Anbieter ein 8-GPU-Gen5-System ohne MCIO verkauft, haken Sie nach.

Signalintegrität: Gen4 gegen Gen5

Bei Gen3 können Sie mit einem Flachbandkabel fast alles machen. Bei Gen5 nicht – und die Fehlerbilder sind nicht immer laut.

Das häufigste Muster: Der Link trainiert auf den kleineren der Werte, die Slot und Gerät nach der LTSSM-Aushandlung (Link Training and Status State Machine) melden. Ist die Signalqualität grenzwertig, trainiert er neu – unbemerkt, meist während des ersten schweren Workloads der GPU – und bleibt bei Gen4 oder Gen3 stehen. Das System läuft weiter. Die PCIe-Bandbreite halbiert sich. Die Benchmarks sehen falsch aus, und niemand weiß, warum.

Häufige Fehlerbilder

Grob danach sortiert, wie oft sie einen 4-GPU- oder 8-GPU-Rack-Build treffen:

Herunter-Training auf Gen3 unter Last. Die Karte startet mit Gen4 x16; das Gehäuse erwärmt sich, der Übergangswiderstand des Steckverbinders steigt, die Augenreserve schließt sich, der Link trainiert neu und bleibt bei Gen3. Bandbreitentests zeigen ~12 GB/s statt der erwarteten 24 GB/s. Ursache: ein grenzwertiger passiver Riser, meist ein langes Flachbandkabel.

Sporadische Abbrüche. Die GPU verschwindet aus nvidia-smi mitten im Job, meist mit AER-Meldungen. Steckersitz unter Temperaturwechseln, manchmal ein Problem der Stromversorgung, manchmal eine grenzwertige Lötstelle, die sich unter Wärme öffnet.

Die Breite fällt von x16 auf x8 oder x4. Ein oder zwei Lanes sind zu verrauscht für die Aushandlung, der Link kommt mit den verbliebenen hoch. In lspci sichtbar.

Trainingsfehler beim Start. Die Karte taucht schlicht nicht auf. Kabelsitz oder ein defekter Riser.

Korrigierbare AER-Fehler überfluten dmesg. Die Hardware korrigiert Fehler im laufenden Betrieb; ein Schritt vor dem Herunter-Training. Ein Warnschuss – beheben Sie es, bevor es schlimmer wird.

Fehler durch die Stromversorgung. Manche Riser führen die 75 W des Slots über das Kabel. Dünne Leiter bedeuten, dass eine GPU unter Dauerlast kurz unterversorgt wird, die Spannung einbricht und der Link abreißt. Bei Risern ab Werk selten, bei billigen Flachbandkabeln häufig.

So diagnostizieren Sie

Drei Standardwerkzeuge unter Linux: nvidia-smi, lspci, dmesg.

Tatsächliche Link-Breite und -Geschwindigkeit:

$ nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.width.current --format=csv
0, 4, 16
1, 4, 16
2, 3, 16     ← train-down
3, 4, 16

GPU 2 läuft auf Gen3 statt Gen4 – ihr Riser muss untersucht werden.

Von der PCIe-Seite:

$ sudo lspci -vvv -s <bus:dev.fn> | grep -E "LnkCap|LnkSta"
    LnkCap: Speed 32GT/s, Width x16
    LnkSta: Speed 16GT/s (downgraded), Width x16

(downgraded) ist das verräterische Zeichen – der Link läuft unterhalb seiner Fähigkeit.

Kernel-Ringpuffer auf AER-Fehler prüfen:

$ sudo dmesg -T | grep -iE "aer|pcie"
pcieport 0000:60:01.0: AER: Corrected error received: 0000:61:00.0

Korrigierte Fehler sind noch nicht fatal, zeigen aber einen grenzwertigen Link an. Fahren Sie Dauerlast und beobachten Sie die Rate; steigt sie, ist der Riser dabei auszufallen.

Um Karte und Riser zu unterscheiden, setzen Sie die verdächtige GPU in einen bekannt guten Slot. Wandert das Symptom mit der Karte → Karte. Bleibt es am Slot → Riser.

Konkrete Beispiele aus echten Builds

4-GPU: 4× RTX 5090, EPYC Genoa, 4U-Gehäuse

Das Mainboard stellt 4× Gen5 x16 bereit. Die GPUs sind flach in einer Halterung 220 mm vom Slot entfernt montiert. Werkskit des Herstellers: MCIO-Gen5-Kabel zu kleinen Riser-Platinen, die den PCIe-Steckkontakt an der GPU erneut bereitstellen.

Ergebnis: 4× Gen5 x16, null AER über einen 72-stündigen Lauf mit Qwen2.5-VL 72B. PCIe-Bandbreite pro GPU 47–49 GB/s (theoretisch Gen5 x16 ≈ 63 GB/s; in der Praxis ≈ 50 GB/s nach Protokoll-Overhead). Sauber, weil wir das Herstellerkit wie vorgegeben eingesetzt haben.

8-GPU: 8× RTX Pro 6000 Blackwell, EPYC Turin Dual, 4U-Gehäuse

Zwei CPUs, jede mit 4× Gen5-x16-Root-Complexes, über MCIO auf eine Platine in der Gehäusemitte geführt. Reine Bifurcation – jede GPU erhält x16 von der CPU. MCIO-Kabel pro GPU ≈ 280 mm.

Das ist die Grenze dessen, was MCIO bei Gen5 noch sauber leistet. Zwei der acht Kabel im Herstellerkit haben Retimer in der Strecke, die übrigen sechs sind passiv. Die beiden am weitesten von den CPUs entfernten brauchen die Reserve, die sechs näheren nicht. Der Hersteller hat das vor der Auslieferung auf einem thermisch belasteten Prüfaufbau vermessen.

Ergebnis: 8× Gen5 x16 stabil. Anschlussleistung 4.1 kW unter Dauerlast. Kein Neutraining über 48 Stunden.

Derselbe Build mit Eigenbau-Risern

Gleiches Gehäuse, gleiche GPUs, aber „Gen5-taugliche“ Flachband-Riser eines beliebigen Drittanbieters:

• Zwei von acht GPUs trainierten auf Gen4 x16 statt Gen5.
• Eine GPU fiel unter Dauerlast sporadisch aus.
• ~15% Durchsatzverlust gegenüber dem Build mit Werkskit.

Ersparnis: ~600 €. Kosten der Fehlersuche: drei Ingenieurtage. Durchsatzeinbuße: dauerhaft. Machen Sie das nicht.

Die Sache mit den zwei Netzteilen

Ein 4-GPU-Rack zieht unter Last 1.8–2.4 kW, ein 8-GPU-Rack 3.5–4.5 kW. Die meisten Rackgehäuse dieser Klasse werden mit 2× 2-kW-ATX-Netzteilen geliefert.

Zwei Netzteile in einem Kentino-AI-Gehäuse bedeuten aufgeteilte Versorgung, keine N+1-Redundanz. Jedes Netzteil versorgt einen fest definierten Teil des Systems – typischerweise speist Netzteil 1 vier GPUs und das Mainboard, Netzteil 2 die anderen vier GPUs (oder vier GPUs plus den Laufwerkskäfig). Fällt ein Netzteil aus, verlieren Sie genau den Teil, den es versorgt hat. Nichts dazwischen. Kein gemeinsames Rail, kein Failover.

Für Riser ist das relevant: Die 75 W auf der Slot-Seite, die manche Riser abgreifen, kommen von dem Netzteil, das die jeweilige Gruppe versorgt. Riser über Netzteilgruppen hinweg anders zu mischen, als der Hersteller es vorgesehen hat, erzeugt Masseschleifen und Störungen auf dem PCIe-Link. Ein weiterer Grund für das Werkskit. Siehe W04 für das vollständige Bild zur Netzteildimensionierung.

Warum werkseitig getestete Riser-Kits den Eigenbau schlagen

Ein Gehäusehersteller, der ein 4-GPU- oder 8-GPU-KI-Rack ausliefert, hat Dutzende bis Hunderte solcher Builds eingefahren. Das Riser-Kit wurde thermisch zyklisiert, bei Worst-Case-Umgebungstemperatur auf den Link geprüft, gegen den konkreten Mainboard-PHY validiert und meist einmal überarbeitet, als die erste Charge auf einen Sonderfall stieß. Ein Eigenbau-Flachbandkabel von einem beliebigen Lieferanten wurde – wenn überhaupt – von jemandem mit einem Oszilloskop bei Raumtemperatur auf einem einzigen Referenzboard getestet.

Preisunterschied: ein paar hundert Euro über den gesamten Build. Zuverlässigkeitsunterschied: enorm. Jeder Kentino AI Build nutzt Riser-Kits nach Herstellervorgabe. Wir haben die Alternative einmal auf Kundenwunsch probiert, und sie kostete Tage an Fehlersuche, die der Kunde ohnehin bezahlt hat. Auch die Garantie zählt – eine GPU, die an einem nicht freigegebenen Riser ausfällt, ist nicht immer ein Garantiefall.

Bei Gen5 führt der Weg über MCIO

Die Kernaussage in einem Satz: Bei Gen5 ist der PCIe-Steckkontakt das schwache Glied, und MCIO ersetzt ihn. Jedes 8-GPU-Gen5-Rack, das heute eine Ausschreibung wert ist, setzt durchgängig auf MCIO. Gen4-Builds können weiterhin SlimSAS oder kurzes MCIO nutzen; Gen3-Flachbandkabel sind ausschließlich für Gen3-Hardware in Ordnung.

Wenn Sie den 8-GPU-Gen5-Build eines Anbieters bewerten, stellen Sie drei Fragen:

1. Wie sieht die Verkabelung zwischen Mainboard-PCIe und GPU aus? (Die Antwort muss MCIO nennen.)
2. Sind Kabel mit Retimern bestückt – welche und warum? (Ein Anbieter, der seinen Build kennt, antwortet konkret.)
3. Wie lauten gemessener Link-Status und AER-Rate in einem voll bestückten, thermisch belasteten Gehäuse? (8× Gen5 x16, null oder nahezu null AER über 24+ Stunden.)

Vage Antworten heißen: Der Anbieter hat die Arbeit nicht gemacht.

Dies ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Compute, Robotik und den Systemen, die beides verbinden. Kommentare und Korrekturen willkommen unter info@kentino.com.