InfiniBand, RoCE oder einfaches Ethernet: die richtige Fabric für 2026

Bei jeder Ausschreibung für einen KI-Cluster mit mehreren Knoten tauchen drei Transportoptionen auf: InfiniBand, RoCE und schlichtes TCP/IP-Ethernet. Das sind nicht drei Punkte auf derselben Linie, sondern drei unterschiedliche Ingenieursphilosophien — eine von Grund auf verlustfreie HPC-Fabric, ein auf Verlustfreiheit getrimmtes Ethernet und der alltägliche Netzwerk-Stack, den der Rest der IT nutzt. Sie haben unterschiedliche Kostenkurven, unterschiedlichen Betriebsaufwand und je nach Vorhaben sehr unterschiedliche richtige Antworten.

Dieser Artikel erklärt, was jede der drei Optionen ist, wohin Latenz und Geld 2026 tatsächlich fließen und wo die Grenze zwischen „wir brauchen RDMA“ und „wir brauchen RDMA, und zwar speziell InfiniBand“ verläuft. Am Ende steht eine kompakte Entscheidungsmatrix.

Zielgruppe: alle, die einen KI-Cluster mit 2 bis 32 Knoten dimensionieren und abwägen, ob die Position „InfiniBand-Switch“ im Angebot ehrlich kalkuliert oder reine Show ist. Querverweise: N01 für die 25/100-GbE-Grundlagen, N06 für das zugrunde liegende Latenzbudget, N07 für die Routing-Stellschrauben und N08 für die praktische RDMA-Inbetriebnahme.

Drei Fabrics — was jede davon wirklich ist

Natives InfiniBand ist eine eigens für HPC entwickelte Fabric. Der Link Layer ist konstruktionsbedingt verlustfrei — kreditbasierte Flusskontrolle bedeutet, dass ein Sender nur überträgt, wenn der Empfänger Pufferplatz hat. Pakete gehen unter Last also nicht verloren, wie es bei Ethernet der Fall ist. Das Routing ist zentralisiert: Jede Fabric hat einen Subnet Manager (einen opensm -Prozess oder einen eingebetteten SM auf einem Managed Switch), der LIDs vergibt, Pfade berechnet und bei Topologieänderungen neu konfiguriert. Die Anwendungsschnittstelle ist die Verbs-API — ibv_post_send, Queue Pairs, Completion Queues, Memory Regions — dieselbe API, die sich der Rest der RDMA-Welt ausgeliehen hat.

Die 2026 ausgerollte Generation ist NDR (400 Gb/s pro Port, ConnectX-7, Quantum-2-Switches). XDR (800 Gb/s, ConnectX-8, Quantum-X800) geht dieses Jahr in die Bestellungen von Hyperscalern und KI-Laboren; die IBTA hat die XDR-Spezifikation 2023 veröffentlicht, das Silizium ist inzwischen in Serie. Die Switch-Hop-Latenz liegt bei NDR-Cut-Through-Silizium unter 100 ns — der niedrigste kommerziell verfügbare Wert, und das seit zwei Jahrzehnten mit rund Faktor vier Vorsprung.

RoCEv2 (RDMA over Converged Ethernet, Version 2) ist dieselbe RDMA-Verbs-API, nur über UDP/IP auf Ethernet. Das NIC-Silizium ist auf einer ConnectX-7 oder ConnectX-8 der exakt gleiche Chip wie in der InfiniBand-Variante — ein Firmware-Flag (LINK_TYPE_P1 = 1 für IB, 2 für Ethernet) schaltet zwischen den Modi um. Nicht gratis ist Folgendes: Ethernet ist standardmäßig verlustbehaftet, RDMA setzt aber einen verlustfreien Transport voraus. Eine RoCE-Installation muss sich auf dem Link Layer also wie InfiniBand verhalten — das heißt Priority Flow Control (PFC) als kurzfristige Notbremse, ECN als langfristiges Stausignal und eine Regelschleife wie DCQCN, die beides verbindet. Genau darin liegen der Konfigurationsaufwand und das Betriebsrisiko, die RoCE von schlichtem Ethernet trennen. Richtig gemacht, kommt RoCEv2 nah an die InfiniBand-Latenz heran: 1.5–2.5 µs RDMA-RTT am selben Switch gegenüber rund 1 µs bei IB.

Schlichtes TCP/IP-Ethernet ist der Rest der Welt. Sockets-API, Kernel-Netzwerk-Stack, kein RDMA, keine Garantie auf Verlustfreiheit. Die Performance liegt laut N06im Bereich 10–30 µs pro Richtung, der Durchsatz reicht bei Massentransfers bis zur NIC-Leitungsrate, und die CPU liegt im Datenpfad. Für Management-Traffic, Modell-Downloads, Telemetrie und die Gigabit-Strecke zwischen Roboter und Inferenzserver ist das die richtige Fabric. Für synchrone Gradienten-AllReduces über 16 GPUs ist es die falsche.

Der Vergleich auf einen Blick

Die Kostenzeile ist relativ zu lesen, nicht absolut. Der reale Abstand bei Switches liegt pro Port etwa beim 2- bis 3-Fachen für einen InfiniBand-NDR-Switch gegenüber einem gleichwertigen KI-tauglichen Ethernet-Switch (Spectrum-X, Tomahawk 5/6). Die NIC selbst ist in beiden Modi im Wesentlichen dieselbe Hardware; der Unterschied liegt in der Lizenzierung und im Supportvertrag.

Wohin die Latenz geht

N06 zerlegt einen einzelnen RDMA-Round-Trip Mikrosekunde für Mikrosekunde. Die Kurzfassung, soweit sie für diesen Vergleich relevant ist:

InfiniBand gewinnt bei der Switch-ASIC-Latenz — diese Lücke hat sich nicht geschlossen. Moderne KI-Ethernet-Switches (Spectrum-X SN5600 / Tomahawk 5) drücken den Wert pro Hop auf 400–600 ns, was konkurrenzfähig genug ist, dass der absolute Unterschied über zwei Hops in einer Leaf-Spine-Topologie bei rund 1 µs liegt. Für enge tensorparallele Kollektive ist das relevant. Für Storage-Lesezugriffe oder gebatchte Inferenz nicht.

Die Spalte mit schlichtem TCP erschreckt alle, die Latenz nur von Sockets her kennen. Die 10–30 µs pro Richtung an Kernel-Kosten fallen pro Paket an; bei einem Kollektiv mit kleinen Nachrichten und vielen Round-Trips summiert sich das schnell. NCCL über TCP funktioniert, ist aber die letzte Wahl.

Bandbreite und die NIC-Realität

2026 deckt dieselbe Kartenfamilie sowohl InfiniBand als auch RoCE ab:

Die Kernaussage: Eine ConnectX-7, die Sie für IB kaufen, ist dieselbe Karte, die Sie auch für RoCE kaufen würden. Der Listenpreis liegt Anfang 2026 bei rund €1,500–€2,200 für eine Single-Port-NDR-Karte; die Varianten-SKU konfiguriert lediglich die Firmware vor. Deshalb bedeutet „von IB auf RoCE wechseln“ in den meisten Clustern keinen Neukauf der NICs — es sind ein Firmware-Flag, ein Transceiver-Tausch und eine andere Switch-Fabric.

Auf AMD-Seite ist Pensando Pollara 400 (inzwischen mit den MI300X-/MI325-Plattformen im Versand) die erste glaubwürdige RDMA-NIC ohne NVIDIA mit produktiven KI-Deployments. Broadcom hat 2025 eine 800G-KI-NIC angekündigt (Generation Thor Ultra / Thor 3). Zum ersten Mal seit einem Jahrzehnt ist der Markt für RDMA-NICs kein Ein-Hersteller-Markt mehr.

Switches: Hier liegt das Geld wirklich

Die NIC kostet in allen Modi ungefähr gleich viel. Der Switch nicht.

Der Aufschlag von 2–3× pro Port für InfiniBand ist seit Jahren stabil. Er ist ein realer Kostenblock: Ein 64-Port-Quantum-2-NDR-Switch liegt je nach Optik und Support in der Spanne €120k–€180k; ein 64-Port-Spectrum-X SN5600 mit vergleichbarer Portzahl landet bei etwa €60k–€90k; eine generische Tomahawk-5-Whitebox eines taiwanischen OEM kann die Hälfte davon kosten. Rechnet man die Optik hinzu — OSFP-NDR-Transceiver kosten in Stückzahlen €600–€1,200 pro Stück —, wächst die „All-in“-Differenz pro Port weiter.

Wo sie nicht so stark wächst, wie viele erwarten: bei AOC (Active Optical Cables) und DAC (Direct-Attach Copper) für Strecken im Rack. Ein 3-m-DAC kostet in beiden Ökosystemen ~€100–€200. Die große Optikrechnung kommt erst, wenn Sie über ~5 m hinausgehen und an beiden Enden SR-/LR-Transceiver brauchen.

Der Spectrum-X-Blickwinkel: NVIDIAs „KI-Ethernet“-Pitch

NVIDIAs strategische Antwort auf die Verschiebung hin zu Ethernet heißt Spectrum-X — ein Bündel aus Spectrum-4- (und inzwischen Spectrum-5-)Switch-Silizium, BlueField-/ConnectX-NICs und einer durchgängigen Staukontroll-Story, die NVIDIA „adaptives Routing + telemetriegestützte Lastverteilung“ nennt. Die Marketingaussage: Spectrum-X liefert AllReduce-Leistung auf InfiniBand-Niveau über Ethernet, validiert an echten KI-Trainings-Workloads.

Die gemessene Realität, aus NVIDIAs eigenen Benchmarks und von Dritten:

• Spectrum-X schließt bei NCCL-Workloads rund 80–90 % der AllReduce-Leistungslücke zu InfiniBand NDR. Der Rest sind kleine Nachrichten und das Tail-Verhalten im ungünstigsten Fall.
• Das adaptive Routing auf Paketebene (Pakete werden über mehrere Pfade verteilt und beim Empfänger neu sortiert) ist die Geheimzutat. Standard-ECMP hasht ganze Flows, was bei einem KI-Workload mit wenigen Flows Hotspots erzeugt. Spectrum-X bricht mit der Flow-Hash-Annahme.
• Es funktioniert nur als Gesamt-Stack. Kombinieren Sie eine NIC eines anderen Herstellers mit einem Spectrum-Switch, bricht der Telemetriepfad für das adaptive Routing. Das ist der Lock-in-Kompromiss — Sie entkommen dem InfiniBand-Ökosystem nur, um es auf Ethernet wieder zu betreten.

Die ehrliche Lesart: Spectrum-X ist eine echte technische Antwort auf ein echtes Problem. Es hält NVIDIA aber auch auf jeder Ebene eines KI-Clusters im Spiel — genau das, wovor die Hyperscaler mit Ethernet fliehen wollten. Ob es die richtige Entscheidung ist, hängt davon ab, ob die verbleibenden 10–20 % Leistungsunterschied die Integrationsfreiheit wert sind, die Sie dafür aufgeben.

Die Antwort ohne NVIDIA heißt Ultra Ethernet — die 2025 veröffentlichte UEC-1.0-Spezifikation, getragen von AMD, Broadcom, Cisco, HPE, Intel, Meta und Microsoft. Multipath-Zustellung, Lastverteilung auf Paketebene, Staukontrolle im Netz, offene API. Pensando Pollara und Broadcom Thor 3 sind die ersten NICs mit UEC. Stand Mitte 2026 ist das der glaubwürdige herstellerübergreifende Weg zu Ethernet für KI, der nicht durchgängig den NVIDIA-Stack voraussetzt.

Der Hyperscaler-Kontext (und was er für alle anderen bedeutet)

Die Schlagzeile der vergangenen zwei Jahre: Die Hyperscaler haben InfiniBand weitgehend verlassen. Meta hat Llama 3 über RoCE trainiert. Die KI-Fabric von AWS ist durchgängig Ethernet. Googles TPU-Pods waren immer Eigenentwicklungen, die GPU-Flotten hängen jedoch an Ethernet. Microsoft Azure fährt einen Mix und investiert bei Neubauten stark in Ethernet. Rund 70 % der neuen KI-Infrastruktur-Deployments haben sich Anfang 2026 laut Broadcoms Quartalsberichten für Ethernet statt InfiniBand entschieden — eine Umkehr gegenüber dem InfiniBand-Anteil von ~80 % im Jahr 2023.

Metas veröffentlichtes Fazit war eindeutig: Sauber getuntes RoCEv2 und InfiniBand liefern auf ihren Workloads gleichwertige Trainingsleistung. Bei der Verschiebung geht es nicht um rohe Performance — sondern darum, wem das Silizium gehört, wer die SREs stellt, wie die Teile beschafft werden und ob das Betriebsmodell zum Rest des Rechenzentrums passt.

Für alle anderen, die keine Trainings-Fabrics mit 10,000 GPUs betreiben, zählen drei Dinge:

1. Die Frage „Kann Ethernet KI?“ ist beantwortet. Es kann. RoCEv2 mit modernem KI-Switch-Silizium und sauberer Staukontrolle ist produktionsreif. Die Hyperscaler haben es bewiesen. Sie müssen die Entscheidung in einer Ausschreibung nicht mehr verteidigen.
2. Die Betriebsexpertise ist mit dem Silizium gewandert. Vor fünf Jahren gab es in Ihrem Land drei Leute, die eine InfiniBand-Fabric in Betrieb nehmen konnten, und einen, der PFC/DCQCN auf RoCE sauber tunen konnte. Heute sind die RoCE-Kenntnisse deutlich verbreiteter, die InfiniBand-Kenntnisse konzentrieren sich auf HPC-Labore und NVIDIA-Partner. Planen Sie Ihr Personal entsprechend.
3. Die Lock-in-Geschichte hat sich umgekehrt. InfiniBand war immer Single-Vendor (NVIDIA, früher Mellanox). Ethernet war die offene Alternative — bis Spectrum-X den Pitch „NVIDIA von Ende zu Ende“ auch auf Ethernet gebracht hat. Die wirklich herstellerneutrale Antwort lautet 2026: RoCE der UEC-Klasse mit Silizium von Broadcom oder AMD.

Wann InfiniBand die richtige Wahl ist

InfiniBand ist die richtige Antwort, wenn das meiste hiervon zutrifft:

• Dedizierter Trainingscluster, 16+ Knoten, der dauerhaft synchrone Gradienten-AllReduces fährt. Der Latenzvorteil bei kleinen Kollektiven summiert sich über Tausende Iterationen.
• Sie kaufen ohnehin NVIDIA HGX oder DGX. Diese Baseboards sind um NDR/XDR herum entworfen. Ethernet auf einem DGX-Knoten zu mischen, ist betrieblich unhandlich.
• Sie haben die Expertise im Haus, die den Subnet Manager kennt, ibtracert -Ausgaben lesen kann und mit NVIDIAs UFM-Management vertraut ist.
• Das Budget trägt einen Switch-Aufschlag von 2–3× pro Port, ohne die Wirtschaftlichkeit des Clusters zu sprengen.
• Der Cluster ist der gesamte Zweck des Gebäudes. Ein reines HPC-/KI-Deployment ohne gemeinsame Storage-Mandanten und ohne Anwendungs-Traffic — InfiniBand vereinfacht das Betriebsmodell, weil es keine QoS-Debatte zu führen gibt.

Wenn drei dieser fünf Punkte auf Ihr Vorhaben zutreffen, ist InfiniBand seinen Preis wert. Wenn nur einer zutrifft, bezahlen Sie für eine Fabric, die auf das Problem eines anderen optimiert ist.

Wann RoCEv2 die pragmatische Wahl ist

RoCE ist die richtige Antwort für das größte Segment von Kentinos Kundenbasis:

• 4 bis 16 Knoten, gemischte Workloads, Training, Inferenz und Storage auf derselben Fabric.
• Budgetbewusst, aber RDMA ist Pflicht. Der Cluster macht genug Multi-Node-Training oder verteilte Inferenz, dass die Kernel-Stack-Steuer von schlichtem TCP untragbar ist — der InfiniBand-Switch-Aufschlag aber ebenso.
• Gemeinsame Fabric mit Nicht-KI-Traffic. Betrieb, Storage und Entwicklerzugriff laufen über dieselbe Ethernet-Infrastruktur. RoCE koexistiert damit; InfiniBand braucht seine eigene physische Ebene.
• Sie wollen Herstelleroptionen. Broadcom-Switches mit NVIDIA-NICs und AMD-MI300-Knoten mischen. Das Ethernet-Ökosystem erlaubt das, das InfiniBand-Ökosystem nicht.
• Das Team hat bereits Ethernet-Betriebstiefe. PFC-/ECN-Tuning ist echte Arbeit, aber Arbeit auf einem Unterbau, den ohnehin alle kennen. Der SM in Ihrem Kopf ist die L2-/L3-Control-Plane, die Sie seit Jahren betreiben.

Die Falle, auf die hinzuweisen ist: RoCEv2 falsch konfiguriert ist schlimmer als schlichtes TCP. PFC-Pause-Stürme über eine unsegmentierte Fabric können die Management-Ebene lahmlegen. Falsch gesetzte ECN-Schwellen erzeugen eine Fabric, die im perftest gesund aussieht, unter echtem AllReduce-Incast aber zusammenbricht. Laut N08ist das die Warnung „PFC-Konfiguration von Hand auf einer generischen Whitebox auszurollen, ist ein Projekt“. Kaufen Sie bei einem Anbieter mit geprüften RoCE-Templates (NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 mit dem KI-Fabric-Serviceprofil), oder holen Sie sich jemanden, der das schon gemacht hat.

Wann schlichtes TCP/IP-Ethernet genügt

Schlichtes Ethernet — kein RDMA, kein PFC, kein DCQCN-Tuning, nur Sockets und der Kernel-Stack — ist häufiger die richtige Antwort, als man zugibt:

• Single-Node-Server mit 4× oder 8× GPU. Der Traffic zwischen den GPUs bleibt im Gehäuse auf PCIe oder NVLink. Die einzige Aufgabe des Netzes ist, Trainingsdaten hinein-, Modellgewichte hinaus- und Telemetrie herumzuschaufeln. 25 GbE oder ein einzelner 100-GbE-Link genügen.
• Inferenzcluster mit geringer Koordination zwischen den Knoten. Die Latenz pro Anfrage wird von der GPU-Rechenzeit dominiert; 10 µs Netzwerk sind Rauschen.
• Gemischt genutztes Labor, Robotik-Werkbank, Entwicklungsumgebung. Der Cluster fährt kein dauerhaftes synchrones Training. RDMA ist überdimensioniert.
• Robotik-Edge-KI-Setups wie in I01 beschrieben — der Roboter spricht mit einem Inferenzserver, das Latenzbudget liegt im Bereich mehrerer hundert Millisekunden, die Fabric ist unsichtbar.

Die ehrliche Einschätzung für den Großteil von Kentinos Kundenbasis: Wenn Sie eine einzelne K-AI 256 Turin Dual mit 8× RTX 5090 kaufen, brauchen Sie weder InfiniBand noch RoCE. Zwei 100-GbE-Links zu einem Standard-Rechenzentrums-Switch, Jumbo Frames aktiviert, Standard-Kernel-Tuning — das ist die richtige Antwort und kostet einen fünfstelligen Betrag weniger als die Alternative.

Ehrliche Einschätzung von Kentino

Wir verkaufen an Kunden, die Cluster mit 1 bis 8 Knoten aus Consumer- und Workstation-GPUs bauen (5090, 4090, RTX Pro 6000 Blackwell). Nicht der Hyperscale-Markt, nicht der HPC-Markt. Für dieses Segment gilt:

• Single-Node-Box mit 8 GPUs: schlichtes 25/100 GbE. Fertig. Kein RDMA, keine Fabric-Steuer. Die interessante Bandbreite liegt im Gehäuse auf PCIe Gen5; der Link nach außen dient der Datenaufnahme und dem Management.
• Cluster mit 2 bis 4 Knoten und gelegentlichem verteiltem Training: RoCEv2 über 100 GbE mit einem herstellergestützten KI-Switch-Template. Spectrum-X, wenn Sie den von NVIDIA validierten Weg wollen; Tomahawk 5 / Arista, wenn Sie den Multi-Vendor-Weg wollen. Planen Sie zwei Wochen für eine saubere PFC-/ECN-Inbetriebnahme und die Validierung mit nccl-tests ein.
• Trainingscluster mit 4 bis 8 Knoten im Dauerbetrieb: RoCEv2 über 200 oder 400 GbE, mit vollständig getrennter Management-Ebene. Das ist der Sweet Spot der Kostenkurve pro Port; der Unterschied zu IB ist in dieser Größenordnung nicht groß genug, um den Switch-Aufschlag zu rechtfertigen — es sei denn, der Workload ist ungewöhnlich latenzempfindlich.
• Ab 8 Knoten mit dauerhaft AllReduce-lastigem Training: InfiniBand verdient Beachtung. Nicht automatisch — messen Sie nach. Aber in dieser Größe ist die betriebliche Einfachheit von „die Fabric ist verlustfrei, der SM übernimmt das Routing, NCCL läuft einfach“ echtes Geld wert.
• Alles, was wirklich DGX-Maßstab hat: nicht wir. Kaufen Sie HGX und akzeptieren Sie das InfiniBand-Bundle.

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe über KI-Compute und die Systeme, die es verbinden. Korrekturen willkommen unter info@kentino.com.