Ethernet für KI: Grundlagen zu 25/100/400 GbE

Ethernet ist das Standard-Fabric für jeden KI-Cluster, der außerhalb eines Hyperscalers entsteht. Auf dem Papier ist es nicht immer die schnellste Option – N02 wird darlegen, wo InfiniBand wirklich gewinnt –, aber es ist die Option, die es überall gibt, die mit jedem angrenzenden Werkzeug läuft, die am wenigsten pro Gigabit kostet und die Sie an nichts bindet.

Für Cluster der Kentino-Größenordnung – einzelne Inferenzserver, Trainings-Rigs mit 2 bis 8 Knoten, kleine Forschungslabore – ist Ethernet praktisch immer die richtige Antwort. Interessant sind die Fragen danach: welche Geschwindigkeitsstufe, welcher NIC, Kupfer oder Glasfaser, und was kostet jeder Schritt nach oben tatsächlich. Dieser Artikel beantwortet sie ehrlich, mit Preisen aus der Mitte des Jahres 2026.

Wenn Sie eine einzelne Box mit 4 oder 8 GPUs ausschließlich für Inferenz aufbauen, können Sie direkt zur Kostentabelle am Ende springen und dort aufhören. Der Rest dieses Artikels richtet sich an alle, die mehrere Knoten planen.

Warum Ethernet standardmäßig gewinnt

Drei Gründe, geordnet danach, wie oft sie die Entscheidung tatsächlich treiben:

1. Ökosystem. Jeder Server, jeder Switch, jedes Storage-System und jeder Orchestrator spricht Ethernet. Die Treiber sind im Kernel. Monitoring-Werkzeuge setzen es voraus. Der erste Tag einer neuen Mitarbeiterin beginnt nicht mit „Lassen Sie mich InfiniBand erklären."
2. Kosten pro Gigabit. Ein 100-GbE-Switchport kostet rund ein Viertel eines vergleichbaren HDR-InfiniBand-Ports. DACs und Transceiver sind Massenware. Beim NIC-Angebot konkurrieren mehrere Hersteller – NVIDIA, Broadcom, Intel –, was die Preise ehrlich hält. InfiniBand kommt von einem einzigen Anbieter.
3. Keine Fabric-Bindung. Ethernet ist ein Transport. Moderne Switches bedienen TCP, RoCE, NVMe-oF und Management-Traffic auf derselben Leitung mit vernünftigem QoS. InfiniBand bindet das Fabric an die Roadmap von NVIDIA.

Der Preis dafür: Ethernet für KI braucht mehr Feinabstimmung, um dasselbe Verhalten bei voller Leitungsrate zu erreichen, das InfiniBand ab Werk liefert. RoCEv2, PFC, ECN, DCQCN – auf Ethernet alles konfigurierbar, auf IB alles vorkonfiguriert. N02 und N08 behandeln diesen Kampf.

Geschwindigkeitsstufen und wann sich welche lohnt

Der größte einzelne Fehler in Angeboten der Kentino-Klasse ist eine überdimensionierte Verbindung. Ein 400-GbE-Switch unter einer 8-GPU-Inferenzbox ist verschwendetes Geld. Eine 10-GbE-Verbindung zwischen zwei Trainingsknoten ist verschwendete GPU-Zeit. Die Übersicht unten ist die, auf die es ankommt.

Drei Dinge, die Sie verinnerlichen sollten:

• 25 GbE ist nicht das KI-Fabric. Es ist für alles drumherum – Administration, Telemetrie, die Verbindung zum Storage-Server, wenn dieser nicht am selben RDMA-Fabric hängt. Wer 25 GbE als „die KI-Stufe" verkauft, verrät damit, dass er den Workload nicht kennt.
• 100 GbE ist die ehrliche Basislinie für den Mehrknotenbetrieb. Darunter stockt die Gradientensynchronisation in jeder Iteration. Darüber lautet die Frage, ob Ihre GPUs schnell genug Daten erzeugen, um die Leitung auszulasten. Für Einzelknotensysteme mit 5090 oder RTX Pro 6000 Blackwell, die Finetuning-Arbeit leisten, reichen 100 GbE in der Regel aus.
• 400 GbE zahlen sich nur bei echtem Training über mehrere Racks aus. Zwei 8-GPU-Knoten, die ein 70B-Modell finetunen, brauchen das nicht. Sechzehn Knoten, die auf tokenisiertem Text vortrainieren, schon.

800 GbE gibt es, das Silizium wird ausgeliefert (ConnectX-8, Thor Ultra), aber derzeit ist das eine Geschichte für Hyperscaler und Deployments der B200-Klasse. Der Vollständigkeit halber erwähnt; auf einem Kentino-Build werden Sie es 2026 kaum spezifizieren.

NIC-Familien, die es tatsächlich gibt

Der NIC-Markt wird 2026 von NVIDIAs ConnectX-Reihe dominiert, Broadcom und Intel decken den Rest ab. Marvell, AMD/Pensando und eine Handvoll OEM-umgelabelter Broadcoms existieren, tauchen auf Kentino-Stücklisten aber selten auf.

Die ehrlichen Empfehlungen für Arbeit der Kentino-Klasse:

• Intel E810-CQDA2, wenn der Kunde 100 GbE zum kleinen Preis will und akzeptiert, dass die RoCE-Abstimmung mehr Arbeit macht als bei Mellanox. Etwa €700–€900 im Handel.
• ConnectX-6 Dx für jede 100-GbE-Verbindung, die RoCE zuverlässig fahren muss. €1100–€1500 Aufpreis. Die Antwort in 90 % der Fälle.
• ConnectX-7, wenn die Plattform PCIe Gen 5 bietet und 200 oder 400 GbE durch echtes Mehrknotentraining gerechtfertigt sind. Die einportige OSFP-NDR400-Karte liegt bei rund €1650 im Handel und wechselt per Firmware zwischen IB und Ethernet – praktisch, falls Sie das Fabric später migrieren wollen.
• BlueField-3 und ConnectX-8 gibt es; wer sie spezifiziert, liest diesen Artikel nicht.

PCIe ist die stille Obergrenze. Ein 100-GbE-NIC in einem Gen-3-x8-Slot handelt die volle Linkrate aus und läuft dann mit halber Geschwindigkeit. Die Regel:

Auf Kentinos 8-GPU-EPYC-Plattformen belegen die GPUs die meisten Gen-4-/Gen-5-x16-Slots; der NIC landet in manchen Konfigurationen in einem Gen-4-x8. Für einen 100-GbE-Port ist das in Ordnung, für zwei grenzwertig. Prüfen Sie das vor dem Angebot. W02 (PCIe-Lanes & Topologie) ist die ausführliche Fassung dieser Geschichte.

Kupfer und Glas – DAC, AOC, Optiken

Drei Wege, eine Verbindung physisch herzustellen, getrennt durch eine Größenordnung an Kosten. Käufer verschwenden echtes Geld an Optiken, wo DAC gereicht hätte.

Regeln, die herstellerübergreifend gelten:

• DAC innerhalb eines Racks. Passives Kupfer nach 100GBASE-CR4 ist bis 3 m zuverlässig und mit aktiven Varianten bis 5 m spezifiziert. Bei 400G (100G PAM4 pro Lane) liegt die praktische Grenze bei 2 m passiv – 3-m-DACs gibt es, aber die Signalintegrität wird bei Kabelbiegungen heikel.
• AOC für Strecken von 5–30 m, besonders über benachbarte Racks hinweg. Der Transceiver ist fest mit der Faser verbunden, ein defektes Ende bedeutet also, das ganze Kabel zu entsorgen.
• SR-Optiken + MMF für Strecken im Raum jenseits von 30 m oder dort, wo bereits strukturierte Verkabelung liegt. OM5 bringt bei 100 GbE SR rund 50 % mehr Reichweite als OM4 und ist das, was Sie bei Neuinstallationen heute ziehen sollten.
• LR-Optiken + SMF für Strecken zwischen Gebäuden oder Räumen. Innerhalb eines Clusters mit vier Racks überdimensioniert.

Kabellängenrechnung für einen Cluster mit vier Racks. Eine Reihe aus vier 42-HE-Racks, jedes ca. 600 mm breit, mit ca. 100 mm Abstand dazwischen. Vom Top-of-Rack-Switch oben in Rack 1 zu einem NIC unten in Rack 4: ca. 2.1 m horizontal + ca. 2 m vertikal = ca. 4 m Strecke inklusive Reserve. Bei 100 GbE sind Sie an der Grenze von DAC; bei 400 GbE darüber hinaus. Für jeden Cluster, der bei 400 GbE breiter als etwa zwei Racks ist, planen Sie AOC oder Optiken ein. Das ist der häufigste Spezifikationsfehler bei Angeboten über mehrere Racks – die Annahme, DAC reiche schon, „weil die Racks doch direkt nebeneinanderstehen."

Durchgängige 100-GbE-Verbindung, 2 m innerhalb eines Racks, Mitte 2026: ConnectX-6 Dx als Paar ca. €2400 + zwei anteilige Switchports ca. €1500 + 2 m QSFP28-DAC ca. €90 = ca. €4000 pro Strecke. Dieselbe Strecke bei 400 GbE (ConnectX-7 als Paar, 400-GbE-Switchports, 2 m QSFP-DD-DAC) kostet rund €14k – die vierfache Bandbreite zum etwa 3.5-fachen Preis. Die Ökonomie ist vernünftig; die Frage ist, ob der Workload das braucht.

Die Switch-Landschaft

Der Markt für KI-Ethernet-Switches sortiert sich 2026 in drei offensichtliche Kategorien.

Zwei klare Empfehlungen:

• Für Trainingscluster mit 4 bis 8 Knoten bei 100 oder 400 GbE ist ein einzelner Spectrum-X SN5600 oder Arista 7060X4 die richtige Antwort. Ein Switch, eine Fehlerdomäne, kein Clos, herstellerseitig gelieferte RoCE-Templates. Der SN5600 bringt 64×800 GbE in 2 HE mit 51.2 Tb/s aggregiert und KI-optimierten tiefen Puffern; der 7060X4 liefert 32×400 GbE in 1 HE bei ca. 700 ns Cut-Through-Latenz und kostet spürbar weniger, wenn Sie keine 800 GbE brauchen.
• Ab 16 Knoten planen Sie ein geroutetes L3-Clos mit zwei Spines, BGP unnumbered zwischen Leaves und Spines und ECMP über die Spines. N08 behandelt die Uplink-Mechanik; N04 behandelt die Topologiewahl.

MTU und Jumbo Frames

Die Standard-MTU bei Ethernet beträgt 1500 Byte. Bei 100 GbE sind das ca. 8.3 Millionen Pakete pro Sekunde und Stream, und jedes einzelne zahlt den Kernel-Aufwand pro Paket. MTU 9000 senkt die Paketrate um den Faktor 6, reduziert die CPU-Last entsprechend und ist für jedes KI-Fabric im Grunde Pflicht.

Speziell bei RoCEv2 wird die IB-typische MTU als größter Wert gewählt, der in die Ethernet-MTU passt. 9000 Byte Ethernet ergeben für RoCE eine MTU von 4096 Byte – genau den Wert, den jeder NCCL- und RDMA-Stack erwartet. Bleiben Sie bei 1500, erhalten Sie eine RoCE-MTU von 2048 Byte und spürbare Leistungseinbußen bei jeder Kollektivoperation.

Drei Dinge, die Sie wissen sollten:

• Muss durchgängig übereinstimmen. Ein einziges Gerät mit MTU 1500 im Pfad fragmentiert still und bricht den Durchsatz ein. Setzen Sie den Wert auf jedem NIC, jedem Switchport und jedem Router-Hop im KI-VLAN.
• Halten Sie Jumbo Frames auf das KI-VLAN beschränkt. Ihr Unternehmensnetz wird MTU 9000 nicht sauber fahren. Die Management-Ebene bleibt bei 1500.
• Prüfen Sie mit ip link und tracepath, statt der Konfiguration zu vertrauen. Die Zahl der Cluster, in denen jemand 9000 auf den NICs gesetzt und die Switchports vergessen hat, ist peinlich.

Verlustbehaftetes vs. verlustfreies Ethernet – ein Ausblick

Einfaches TCP/IP über Ethernet ist verlustbehaftet: Switches verwerfen Pakete, wenn Warteschlangen volllaufen, TCP überträgt erneut, der Durchsatz fällt zurück. Für Web-Traffic völlig in Ordnung, für RDMA fatal – ein einziger Paketverlust in einem RoCE-AllReduce zerstört die gesamte Übertragung und zwingt NCCL in einen Timeout.

Die Lösung heißt verlustfreies Ethernet und beruht auf zwei Mechanismen, die zusammenwirken:

• PFC (Priority Flow Control, 802.1Qbb) – Pause je Priorität. Läuft der Switch-Puffer für Priorität 3 (konventionell die RDMA-Priorität) voll, sendet der Switch einen Pause-Frame an den vorgelagerten Port. Die Notbremse für den Moment.
• ECN (Explicit Congestion Notification) – Switches markieren Pakete in volllaufenden Warteschlangen, der Empfänger spiegelt ein CNP zurück, der Sender drosselt. Die Staukontrolle auf lange Sicht.

Zusammen ergeben sie DCQCN – Data Center Quantized Congestion Notification –, den Standard-Regelkreis für RoCEv2 auf modernen KI-Ethernet-Fabrics. ECN erledigt die Arbeit die meiste Zeit, PFC greift nur ein, wenn ECN nicht schnell genug reagieren kann.

Die Quintessenz dieses Artikels: Wenn Sie RoCE fahren, muss Ihr Switch PFC und ECN auf der RDMA-Priorität unterstützen, und Ihr NIC muss darauf konfiguriert sein, sie zu setzen und zu beachten. Ein Switch von einem Hersteller mit dokumentierten RoCE-Templates (NVIDIA Spectrum, Arista, Cisco Nexus 9000) spart eine Woche Konfigurationsarbeit. N02 behandelt den Vergleich mit InfiniBand; N07 geht bei der Staukontrolle in die Tiefe.

Puffertiefe – flach oder tief

Die zweite Achse bei KI-Switches ist die Puffertiefe. AllReduce ist in jeder Iteration ein Viele-zu-eins-Muster – jeder Knoten im Ring oder Baum läuft im selben Moment auf einem Knoten zusammen. Das ist Incast, und es zerlegt Switches mit flachen Puffern.

• Switches mit flachen Puffern (ältere Tomahawk, generische Enterprise-Geräte) haben insgesamt 4–32 MB Puffer. Günstig, latenzarm, für Ost-West-Verkehr im Unternehmensnetz völlig ausreichend. Verwerfen Pakete, sobald Incast das erste Mal auftritt.
• KI-Switches mit tiefen Puffern (Jericho3-AI, Spectrum-X, einige Line Cards der 7800R3) haben hunderte MB bis mehrere GB Puffer. Sie fangen den Incast-Burst ab und halten Pakete, während DCQCN die Sender herunterregelt.

Bei einem Cluster mit zwei Knoten ist die Puffertiefe belanglos. Ab 8 Knoten mit dichtem AllReduce entscheidet sie zwischen einem gesunden Fabric und einem, das PFC-Pausen verwirft und stockt. Das ist ein echter Grund, Switches der KI-Klasse statt generischer Geräte zu kaufen.

Ehrlicher Befund – betrifft das Ihren Build?

Ein einzelner Kentino K-AI-Server für Inferenz oder Finetuning auf einem Knoten braucht nichts davon. Die GPUs sprechen über PCIe und NVLink miteinander; die Ethernet-Verbindung dient für Prompts hinein, Tokens heraus und das Lesen der Datensätze. Ein Paar 25-GbE-SFP28-Ports auf dem Onboard-NIC des Hosts genügt.

Sie lesen das hier, weil Sie zwei oder mehr Knoten planen. Die Matrix:

• 1 Knoten: 10 oder 25 GbE onboard. Kein Upgrade.
• 2–4 Knoten, Finetuning: 100 GbE über ConnectX-6 Dx, ein Switch, RoCE konfiguriert. Ca. €4k pro Strecke.
• 4–8 Knoten, Training ab 70B: 100 oder 200 GbE mit ConnectX-7, sofern PCIe Gen 5 verfügbar ist. Ein einzelner Spectrum-X SN5600 oder Arista 7060X4.
• 8–16 Knoten, dichtes Training: 200 oder 400 GbE, geroutetes L3-Clos mit zwei Spines, Switches mit tiefen Puffern.
• Ab 16 Knoten: jenseits des typischen Kentino-Portfolios. Nutzen Sie die NVIDIA-Referenzarchitektur (Spectrum-X, BlueField-3 oder ConnectX-8) und einen Berater.

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Compute, Robotik und den Systemen, die beides verbinden. Kommentare und Korrekturen sind willkommen unter info@kentino.com.