PCIe-Lanes & Topologie im Multi-GPU-KI-Server

Im Consumer-KI-Umfeld hält sich hartnäckig der Mythos, „PCIe x8 gegen x16 spielt bei Inferenz keine Rolle“. Das stimmt weitgehend — nur weiß kaum jemand, der es nachplappert, warum. Und die Erklärung bricht in dem Moment zusammen, in dem Sie fragen, warum ein Desktop-Board keine vierte GPU mit voller Bandbreite betreiben kann oder warum sich ein 8-GPU-EPYC-Server nicht wie zwei zusammengeklebte 4-GPU-Desktops verhält.

Dieser Artikel ist die ausführliche Fassung. Er erklärt, was PCIe-Lanes sind, wie sie auf den CPUs verteilt werden, mit denen Kentino baut, was Bifurcation und Switches leisten, wo NVLink hineinpasst (und wo nicht) und wann Topologie wirklich zählt. Am Ende stehen konkrete 4-GPU- und 8-GPU-Diagramme für die EPYC-Plattformen, die wir ausliefern.

Was eine PCIe-Lane ist, kurz erklärt

Eine PCIe-Lane ist ein Paar differenzieller serieller Verbindungen — eine je Richtung — zwischen einem CPU-Root-Complex (oder einem nachgelagerten Switch) und einem Gerät. Mehrere Lanes werden zu einem breiteren Link gebündelt: x1, x4, x8, x16. Die Bandbreite skaliert linear mit der Lane-Zahl und verdoppelt sich mit jeder Generation ungefähr.

Zwei Einschränkungen. Die Bandbreite gilt je Richtung — ein Gen5-x16-Link schafft gleichzeitig 64 GB/s in jede Richtung, weshalb Marketingfolien entweder „64 GB/s“ oder „128 GB/s“ angeben. Und Gen6 steckt in keiner GPU, die Sie heute kaufen können. Die Spezifikation ist finalisiert, aber das Silizium steckt Stand Mai 2026 in keiner Workstation-Karte; die ersten Gen6-Endpunkte sind reine Rechenzentrumsbausteine, mit denen Kentino nicht baut. Für unser tatsächliches Lineup — RTX 5090, RTX 4090, RTX Pro 6000 Blackwell (beide Varianten), L40, L4 — ist Gen5 x16 die Obergrenze.

Lane-Budgets pro CPU-Sockel

Hier wird die Grenze zwischen Desktop, Workstation und Server sichtbar. Lane-Zahlen der CPUs in aktuellen Kentino-Builds, nach Abzug dessen, was für Chipsatz und DMI reserviert ist:

Daraus ergeben sich sofort drei Konsequenzen.

Eine Consumer-Desktop-CPU kann keine vier GPUs mit voller Bandbreite versorgen. Bei insgesamt 20–28 Lanes vergeben Sie x16 an den primären Slot, x4 an NVMe — und mehr ist nicht da. „4-GPU-Desktop“-Builds, die x16 in 4×x4 aufteilen, funktionieren bei Inferenz, weil die meisten Inferenzlasten x4 Gen5 (~16 GB/s) nicht ausreizen. Für Training über mehrere Karten hinweg funktionieren sie wegen des Gradienten-Synchronisationsverkehrs nicht.

Ein Workstation-Xeon-W oder ein Threadripper Pro betreibt vier GPUs bequem mit x16 — 64 Lanes für die GPUs, reichlich Rest für NVMe und eine 25/100-GbE-NIC.

Ein Single-Socket-EPYC Genoa oder Turin liefert 128 Lanes und ist damit die einzige sinnvolle Grundlage für einen 8-GPU-Server, bei dem alle acht Karten mit x16 angebunden sind. Dual-Socket-EPYC addiert nominell Lanes, doch der Gewinn ist kleiner, als er aussieht, weil Verkehr zwischen den Sockeln über xGMI läuft — und das ist endlich und wird geteilt.

Bifurcation: einen x16-Link in kleinere Stücke schneiden

Ein PCIe-Slot ist physisch x16, doch der Host kann angewiesen werden, ihn elektrisch als kleinere Links auszugeben. Die Standardaufteilungen sind:

• x16 → 2 × x8
• x16 → 4 × x4
• x8 → 2 × x4

Bifurcation ist in der CPU verankert und wird vom Mainboard-BIOS freigeschaltet. Ob Sie sie tatsächlich nutzen können, hängt davon ab, dass drei Dinge gleichzeitig zutreffen: Die CPU unterstützt sie, das BIOS bietet die Option an, und Riser bzw. Backplane sind so verdrahtet, dass die Lanes korrekt aufgeteilt werden. Die ersten beiden Punkte sind auf Boards der Server-Klasse (Supermicro, ASRock Rack, Gigabyte) meist unproblematisch. Am dritten verbrennen sich viele die Finger — jeder Hersteller belegt die Lanes anders.

Bifurcation ist der Kniff, mit dem mehr GPUs in ein Gehäuse passen, als die CPU x16-Slots hat. Ein 8-GPU-EPYC-Server hat selten acht native x16-Root-Ports; es ist eine Mischung aus nativen und aufgeteilten Slots über Riser, wobei jede GPU je nach Layout x16 oder x8 bekommt.

Was Sie verlieren: Bandbreite pro Karte. Ein aufgeteilter x8-Gen5-Link liefert 32 GB/s — die Hälfte von x16. Bei Inferenz merkt man davon nichts. Beim Multi-GPU-Training zeigt es sich bei der Gradienten-Synchronisation und der Weitergabe von Aktivierungen.

PCIe-Switches und Retimer

Wenn Bifurcation nicht ausreicht — etwa weil Sie acht GPUs mit jeweils x16 wollen —, lautet die Antwort PCIe-Switch. Die Broadcom-PEX-Serie ist das Paradebeispiel. Ein Switch der Klasse PEX 89000 nimmt einen x16-Uplink von der CPU entgegen und fächert ihn auf mehrere x16-Downstream-Ports auf. Die Downstream-Ports überbuchen den Uplink; wenn alle acht GPUs gleichzeitig auf den Host zugreifen, teilen sie sich diesen x16-Uplink.

Das ist die Architektur in NVIDIAs HGX-Baseboards (und in den SXM-Systemen, die Kentino nicht baut). Sie funktioniert, weil bei gutmütigen Multi-GPU-Workloads der meiste Verkehr zwischen den GPUs stattfindet (NVLink oder PCIe-Peer-to-Peer), nicht zwischen GPU und Host. Der Uplink trägt nur die Gewichte beim Laden, gelegentliche Checkpoints und Storage-I/O. Inferenz reizt ihn nicht aus; Training meistens auch nicht, solange die Kollektivoperationen zwischen den GPUs bleiben.

Retimer sind etwas anderes: Signalverstärker, die einen Gen5-Link über ein Kabel jenseits der Spezifikationslänge laufen lassen. Sie ändern die Topologie nicht — sie machen die gewählte Topologie physisch überhaupt erst machbar. Jedes 8-GPU-EPYC-Chassis, das Kentino ausliefert, nutzt Retimer, weil die Kabelwege vom Mainboard zu den GPU-Schächten die native Reichweite von Gen5 überschreiten.

NVLink — was es ist und wo es fehlt

NVLink ist NVIDIAs proprietärer GPU-zu-GPU-Interconnect, getrennt von PCIe. Er nutzt einen eigenen Satz Hochgeschwindigkeits-Lanes an der GPU-Kante (oder über den SXM-Anschluss bzw. eine NVLink-Bridge), um direkten Speicherzugriff zwischen GPUs mit deutlich höherer Bandbreite als PCIe zu ermöglichen.

Die entscheidende Tatsache für jeden Build, den Kentino ausliefert: keine unserer Karten hat NVLink. Die RTX 4090 hat den Anschluss verloren, den die 3090 noch hatte. Die 5090 hat ihn nicht. Die RTX Pro 6000 Blackwell (sowohl Workstation als auch Max-Q) ist reine PCIe-Hardware. L40 und L4 ebenso.

Das ist kein Versehen. NVIDIA reserviert NVLink für SXM-Rechenzentrums-GPUs und die wenigen PCIe-Karten mit NVLink-Bridge — und die laufen aus, während das Highend vollständig auf SXM wechselt. Wer NVLink will, kauft HGX mit H100-, H200- oder B200-Modulen zum zehnfachen Preis, und das baut Kentino nicht.

Ohne NVLink laufen GPU-zu-GPU-Kollektivoperationen (All-Reduce, All-Gather, Reduce-Scatter) über PCIe-Peer-to-Peer. Die effektive Bandbreite zwischen zwei beliebigen Karten wird vom langsameren der beiden PCIe-Links begrenzt — und von dem Switch oder Root-Port, der dazwischenliegt. Auf einem 8-GPU-EPYC-System ist P2P zwischen GPUs am selben Switch schnell; P2P über Root-Complex-Grenzen hinweg läuft über die CPU und ist langsamer.

Bei Inferenz spielt das fast nie eine Rolle — Inferenz ist auf der lokalen GPU speicherlimitiert, gebündelte Aktivierungen wechseln nur gelegentlich die GPU. Beim Training mit Tensor-Parallelität ist genau das der wichtigste Grund, warum ein 8×5090-EPYC-Build nicht einem 8×H100-HGX-Node entspricht, selbst wenn die reinen FLOPS vergleichbar aussehen.

Wann die PCIe-Bandbreite tatsächlich ausgereizt wird

Das Muster ist eindeutig: Inferenz reizt PCIe nicht aus, Training schon. Wenn ein Build sein Leben mit Inferenz verbringt — was für die meisten Käufer zutrifft —, ist x8 Gen5 pro Karte völlig ausreichend, und Sie bekommen mehr GPUs in ein kleineres Topologiebudget. Wenn Sie trainieren, wollen Sie jede Karte mit x16 und die GPUs so gruppiert, dass Kollektivoperationen nicht den langsamsten Pfad nehmen.

Topologie für einen 4-GPU-Build (EPYC Genoa, Single-Socket)

Das ist die Kentino-Standardkonfiguration für vier GPUs auf AMD EPYC. Sie funktioniert mit identischer Lane-Verteilung auch auf Threadripper Pro 7000 WX.

4-GPU-EPYC: Jede GPU erhält einen dedizierten x16-Gen5-Link direkt zum CPU-Root-Complex. Kein Switch, keine Überbuchung.

Jede GPU bekommt einen vollen x16-Gen5-Link direkt zum CPU-Root-Complex. Keine Bifurcation, kein Switch, kein Retimer für die GPUs selbst (Riser können je nach Chassis-Layout dennoch Retimer enthalten). P2P zwischen zwei beliebigen GPUs läuft über die interne Fabric des EPYC und ist symmetrisch — topologisch sind alle vier Karten gleich weit voneinander entfernt.

Das ist der sauberste verfügbare Multi-GPU-Build. Genau so liefern wir 4× RTX 5090, 4× RTX 4090, 4× RTX Pro 6000 Blackwell und 4× L40 aus.

Topologie für einen 8-GPU-Build (EPYC Genoa / Turin, Single-Socket)

128 Lanes reichen nicht, um acht GPUs jeweils volle x16 zu geben — das würde das gesamte Budget aufbrauchen und nichts für NVMe oder Netzwerk übrig lassen. Die Standardlayouts sind:

Option A: Alle 8 GPUs mit x16 über eine Switch-Fabric

Option A: zwei PCIe-Switches, jeder mit einem x16-Upstream zur CPU und vier x16-Downstream-GPUs. P2P innerhalb eines Switches ist schnell; P2P über Switch-Grenzen hinweg läuft über die CPU.

Jeder Switch ist mit x16 Gen5 an die CPU angebunden und fächert auf vier x16-Downstream-Ports auf. Die GPUs 0–3 teilen sich einen 64-GB/s-Uplink zur CPU, die GPUs 4–7 einen weiteren. P2P zwischen GPU 0 und 1 ist schnell (gleicher Switch); P2P zwischen GPU 0 und GPU 4 läuft über den CPU-Root-Complex und ist langsamer. Kentinos 8-GPU-Builds in Supermicro- und Bone64c-Chassis folgen diesem Modell.

Option B: Alle 8 GPUs mit x8, direkt an der CPU

Option B: 8 GPUs mit x8 direkt an der CPU per Bifurcation. Kein Switch, keine Überbuchung, 32 GB/s pro Karte. Nur für reine Inferenz-Builds.

Kein Switch, keine Überbuchung, geringere Latenz zwischen CPU und GPU. Jede Karte bekommt 32 GB/s statt 64. Bei Inferenz merkt man davon nichts. Beim Training mit intensiver Kollektivkommunikation ist es spürbar schlechter als Option A — der Link pro Karte ist schmaler, und es gibt kein schnelles P2P innerhalb eines Switches.

Kentinos Standard-8-GPU-Build ist Option A (geswitchte Fabric) für trainingsfähige Systeme und Option B (aufgeteilt, direkt) für reine Inferenz-Builds, bei denen das Lane-Budget besser in NVMe und zwei 100-GbE-NICs investiert ist.

Signalintegrität bei Gen5

Gen5 ist schnell genug, dass die physikalische Ebene auf eine Weise zählt, wie es bei Gen3 oder Gen4 nicht der Fall war. Eine Gen5-Leiterbahn läuft auf Standard-FR4-Platinen rund 7 Zoll weit, bevor das Auge zufällt. Ein Gen5-Kabel schafft ohne Retimer etwa 20 cm. Das reicht für einen Slot direkt neben der CPU; für ein Riser-Kabel in einem 4U-Gehäuse 40 cm entfernt reicht es nicht.

Was das bedeutet:

• Riser sind entscheidend. Gen4-Riser übertragen keine Gen5-Signale. Sie brauchen Gen5-taugliche Riser, meist mit integriertem Retimer. Der Preisunterschied ist real — €80–€150 pro Riser.
• Die Kabellänge ist hart begrenzt. Über 30 cm braucht es einen Retimer, über 70 cm zwei. Deshalb gibt es bei Gen5 praktisch keine „externen GPU-Boxen“.
• Ein instabiler Link fällt stillschweigend auf Gen4 oder Gen3 zurück. Das System startet, die GPU erscheint in nvidia-smi, die Inferenz läuft. Die Bandbreite beträgt ein Viertel dessen, wofür Sie bezahlt haben. nvidia-smi --query-gpu=pcie.link.gen.current,pcie.link.width.current ist das Erste, was Sie bei einem neuen Build prüfen sollten.
• Das BIOS zählt. Manche Supermicro- und ASRock-Rack-Boards stehen bei der Link-Geschwindigkeit standardmäßig auf „Auto“ und wählen konservativ. Erzwingen Sie Gen5 explizit und prüfen Sie es nach dem Start.

Wir haben Builds gesehen, bei denen eine von acht GPUs wochenlang mit Gen3 x8 trainiert hat, weil niemand hingesehen hat. Der Job lief. Er war 4× langsamer, als er hätte sein müssen.

Wann Topologie zählt und wann nicht

Meist unwichtig, wenn: Sie Single-GPU-Inferenz in beliebiger Modellgröße fahren; Multi-GPU-Inferenz mit Replikat-Parallelität betreiben (jede GPU fährt ihre eigene Kopie); Batch-Inferenz fahren, die von der VRAM-Bandbreite dominiert wird; oder Modelle einmal laden und stundenlang ausliefern.

Sehr wichtig, wenn: Sie Multi-GPU trainieren und das Modell über die Karten verteilt ist (Tensor- oder Pipeline-Parallelität); FSDP oder ZeRO-3 nutzen, wo Parameter geshardet und bei jedem Schritt neu eingesammelt werden; RLHF oder andere Workloads mit häufiger Gradienten-Synchronisation fahren; Modelle im laufenden Betrieb austauschen; oder GPUs aus einer entfernten Storage-Ebene speisen, bei der PCIe der Flaschenhals ist.

Für die meisten Käufer — Inferenzserver für LLM-/VLM-Serving, Robotik-Backends, KI-Server-Hosting — ist Topologie eine Frage der Link-Kontrolle, kein Architekturproblem. Für die wenigen, die ernsthaft Multi-GPU trainieren, ist Topologie (geswitcht gegen aufgeteilt, NVLink oder nicht) die Architekturentscheidung — und der Grund, warum ein 8×5090-EPYC-Build für manche Trainingsjobs das richtige und für andere das falsche Werkzeug ist.

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe über KI-Compute, Robotik und die Systeme, die beides verbinden. Kommentare und Korrekturen willkommen unter info@kentino.com.