Topologien ohne Switch: Mesh, Ring und Direct-Connect für kleine KI-Cluster

Ein 32-Port-400-GbE-Switch samt Optik, Breakouts und den Software-Lizenzen, die man zur Nutzung tatsächlich braucht, liegt Mitte 2026 irgendwo zwischen €40k und €80k — und ein 64-Port-NDR-InfiniBand-Switch ist noch teurer. Bei einem Kunden, der ein Trainings-Rig aus zwei bis vier Knoten baut, kann der Switch mehr kosten als die GPUs in einem der Knoten. Dazu kommen ein zusätzlicher Latenz-Hop, ein Single Point of Failure, ein separater Firmware-Lebenszyklus und, wenn Sie RoCE fahren, ein kleines Projekt an PFC/ECN-Tuning.

Was fast niemand ausspricht: unterhalb von etwa acht Knoten brauchen Sie überhaupt keinen Switch. Sie können die NICs direkt miteinander verkabeln, den Switch komplett weglassen und landen bei etwas, das einfacher, günstiger und sogar ein wenig schneller ist. Was fast niemand zugibt: oberhalb von etwa acht Knoten fällt Switchless steil ab. Verkabelung, Portanzahl und Betriebsaufwand lassen sich dann nicht mehr rechtfertigen. Dieser Artikel steckt diesen Bereich ehrlich ab.

Er ist das Gegenstück zu N04 (geswitchte Topologien). Lesen Sie N06 für die Latenzrechnung, auf der der Switchless-Vorteil beruht, und K07 für den Aufbau eines einzelnen Basisknotens — den Baustein, den dieser Artikel verbindet.

Was für Switchless spricht

Vier Dinge, die Sie geschenkt bekommen, wenn der Switch verschwindet:

1. Null Switch-Latenz. Ein moderner Cut-Through-Ethernet-Switch für KI-Lasten frisst 400–600 ns pro Hop. Ein NDR-InfiniBand-Switch bleibt unter 100 ns. Ein direktes NIC-zu-NIC-Kabel bringt nur die Leitungsverzögerung mit (~5 ns/m auf Kupfer, dasselbe auf Glasfaser) und sonst nichts. Bei einem Zwei-Knoten-Ping-Pong sinkt die Einweglatenz damit von ~2 µs auf ~1.2–1.5 µs.
2. Null Switch-Kosten. Eine Zwei-Knoten-Direktverbindung besteht aus zwei NICs und einem DAC. Ein Drei-Knoten-Dreieck aus drei NICs und drei DACs. Die Capex-Ersparnis gegenüber selbst einem kleinen 100-GbE-Switch mit QSFP28-Optik ist bei einem kleinen Build echtes Geld — €10k–€30k, die zurück in die GPUs fließen.
3. Keine PFC/ECN-Kopfschmerzen. Eine direkte NIC-zu-NIC-Strecke ist Punkt-zu-Punkt — Flusskontrolle ist ein Gespräch zwischen zwei Parteien, PFC reduziert sich auf „sag dem Gegenüber, es soll aufhören“. Es gibt keine fabricweite Pause-Propagation-Pathologie, weil es kein Fabric gibt.
4. Nur eine Geräteklasse zum Debuggen. Wenn in einem switchlosen Fabric etwas kaputtgeht, besteht die Verdächtigenliste aus zwei NICs, einem Kabel und den Kernel-Treibern an beiden Enden. Das ist ein kleiner, endlicher Suchraum.

Der Zwei-Knoten-Fall: einfach zusammenstecken

Das ist das sauberste KI-Cluster-Setup überhaupt — und der Fall, in dem Switchless eindeutig richtig ist.

Zwei-Knoten-Direktverbindung: ein passives OSFP-DAC, kein Switch, ~0.8–1.2 µs RDMA-Latenz, ~50 GB/s nutzbarer Durchsatz je Richtung.

Ein einziges OSFP-DAC zwischen zwei ConnectX-7-NICs bei 400 Gb/s. Das ist das gesamte Inter-Node-Fabric. Dieselben NICs, die in einem größeren Aufbau einem Switch gegenüberstünden, schauen hier einander an. RDMA-Verbs funktionieren, NCCL erkennt die Strecke automatisch, GPUDirect RDMA läuft unverändert.

Was Sie bekommen: ~50 GB/s nutzbar je Richtung, RDMA-Rohlatenz im Submikrosekundenbereich (ib_send_lat landet bei etwa 0.8–1.2 µs), ein Kabel. Kein Aggregationsproblem, weil es nichts zu aggregieren gibt. Keine Überbuchung, weil es keinen Fan-out-Punkt gibt.

Für ein Zwei-Knoten-Trainingsgespann — der häufigste „Ich bin aus einer Box herausgewachsen“-Aufbau in unserem Kundenstamm — ist das die richtige Antwort. Sparen Sie sich den Switch. Stecken Sie die beiden zusammen. Investieren Sie das gesparte Geld in eine größere NVMe-Ebene oder einen zweiten NIC-Port für Redundanz.

Eine praktische Verfeinerung: Setzen Sie eine Dual-Port- ConnectX-7 ein und fahren Sie zwei parallele 200-Gb/s-DACs zwischen den Boxen, wobei NCCL beide HCAs nutzt (NCCL_IB_HCA=mlx5_0,mlx5_1). Sie verlieren etwas Spitzenleistung pro Flow, gewinnen aber Pfadredundanz und ein etwas besseres Verhalten bei kleinen Nachrichten dank paralleler Queue Pairs. Bei Zwei-Knoten-Builds ist das unsere Standardvariante.

Drei und vier Knoten: Dreieck und K₄

Bei drei Knoten fängt die Topologie erstmals an, eine Rolle zu spielen. Die Optionen:

• Lineare Kette (A-B-C). Zwei Kabel. Durchmesser 2. Knoten B wird zum Hotspot — sämtlicher Verkehr von A nach C läuft über ihn. Finger weg.
• Dreieck (Full Mesh). Drei Kabel. Durchmesser 1. Jeder Knoten hat zwei Ports. Jeder Flow braucht einen Hop. Das ist die richtige Antwort.

Links: Dreieck (K₃) — 3 Knoten, 3 Kabel, Durchmesser 1. Rechts: K₄ Full Mesh — 4 Knoten, 6 Kabel, Durchmesser 1. Jedes Paar ist direkt verbunden.

Bei vier Knoten wird es interessant. Das Full Mesh — der vollständige Graph K₄ — hat insgesamt sechs Links, drei Ports pro Knoten und Durchmesser 1. Jeder Knoten erreicht jeden anderen in genau einem Hop. Die Verkabelungsmathematik:

Die Ports pro Knoten liegen im Full Mesh bei N-1, und genau deshalb implodiert dieser Ansatz schnell. Bei acht Knoten brauchen Sie sieben Ports pro Box — das ist das Ende der praktikablen Strecke auf einem einzelnen PCIe-Gen5-x16-Slot.

Wann schlägt ein Vier-Knoten-Full-Mesh einen kleinen Switch? Konkret dann, wenn Sie 4× Kentino AI 128 für Inferenz betreiben und diese eng koppeln wollen, wenn Sie RoCE fahren und kein PFC über einen Switch hinweg möchten und wenn die zusätzlichen €15k–€25k für einen 100-GbE-Switch samt Optik im Budget spürbar sind.

Wann gewinnt selbst bei vier Knoten ein kleiner Switch? Wenn im nächsten Quartal womöglich ein fünfter Knoten dazukommt. Einen Knoten in ein K₄-Mesh aufzunehmen bedeutet, jeden bestehenden Knoten neu zu verkabeln, um die zusätzlichen Ports zu schaffen. Ein Switch hat freie Ports; Sie stecken einfach ein.

Der 8-Knoten-Fall: Hyperwürfel, mit Sternchen

Der 3-Würfel (Q₃) — ein Hyperwürfel der Dimension 3 — ist das Lehrbuch-Layout für acht Knoten ohne Switch. Jeder Knoten sitzt an einer Ecke eines Würfels, jede Kante ist eine Direktverbindung. Drei Ports pro Knoten, zwölf Links insgesamt, Durchmesser 3.

Die ehrliche Einschätzung: In der Praxis sieht man das selten. Es funktioniert, und der Worst Case bei Durchmesser 3 ist für die meisten Kollektive akzeptabel. Aber der Verkabelungsplan ist für jeden, der ihn nicht selbst gebaut hat, schlicht verwirrend, die Fehlersuche setzt Verständnis der Gray-Code-Beschriftung voraus, und ein kleiner 16-Port-200-GbE-Switch liegt inzwischen in derselben Preisklasse wie die zusätzlichen NIC-Ports und Kabel. Der 8-Knoten-Hyperwürfel ist als Lehrbeispiel interessanter denn als Produkt, das wir ausliefern. Bei acht Knoten lautet unsere Standardempfehlung: Switch.

Der Ring: schlicht, simpel und überraschend relevant

Vergessen Sie das Minimieren des Durchmessers. Der Ring verbindet jeden Knoten nur mit seinen beiden Nachbarn: A-B-C-D-...-A. Zwei Ports pro Knoten, unabhängig von der Clustergröße. N Links insgesamt. Durchmesser N/2.

Das klingt fürchterlich — Durchmesser 4 bei 8 Knoten, Durchmesser 16 bei 32 Knoten. Warum ist es trotzdem nicht immer falsch?

Weil NCCLs Ring-Allreduce exakt auf einen physischen Ring abbildet. Der Algorithmus schickt jeden Datenblock pro Phase einmal um den Ring; ist die physische Topologie bereits ein Ring, läuft der Algorithmus mit der Leitungsrate einer einzelnen Strecke, ohne verschenkte Bandbreite. NCCLs Standard für mittlere bis große Nachrichten ist Ring, nicht Tree, weil der Ring die optimale Bandbreitenschranke erreicht: 2(N-1)/N × Link-Bandbreite für Allreduce. Bei großen Nachrichten spielt der Durchmesser der physischen Topologie keine Rolle — entscheidend ist, dass jede Strecke parallel genutzt wird, und genau das leistet der Ring perfekt.

Der pragmatische Fall, in dem ein physischer Ring die richtige switchlose Antwort ist, sind Trainings-Rigs mit 4–8 Knoten, bei denen jeder Knoten ohnehin genau zwei RDMA-Ports hat. Der Haken: Der Ring hat keine Pfadredundanz. Ein defektes Kabel zerlegt den Cluster in zwei Teile.

Wann Switchless einen kleinen Switch schlägt — in Zahlen

Ungefährer Preisvergleich für einen 8-Knoten-Fabric-Aufbau, Mitte 2026 (EUR zzgl. MwSt.):

Der Punkt, an dem sich der Switch rechnet, liegt bei etwa 6–8 Knoten — abhängig von der Bandbreitenklasse und davon, ob Sie wachsen wollen.

Uplink: der Teil, den alle vergessen

Ein switchloses Daten-Fabric ist in sich geschlossen. Es ist für sich genommen mit nichts verbunden. Der Cluster braucht dennoch einen Uplink: für Datensätze und Modelle aus dem Unternehmensspeicher, für SSH von den Entwickler-Workstations, für Telemetrie an Prometheus/Grafana, für IPMI/BMC-Management und für Container-Registry-Verkehr.

Muster A — jeder Knoten hat eine separate Management-NIC. Jeder Knoten führt einen kleinen 25-GbE-Port (oder auch nur 10 GbE) zu einem günstigen Management-Switch, vollständig getrennt vom RDMA-Fabric. Das ist fast immer die richtige Antwort. Das RDMA-Fabric ist eine sterile, verlustfreie, feinabgestimmte Umgebung; die Management-Ebene ist ein normales Ethernet-Netz mit normalem Verkehr. Mischen Sie beides, stört der Management-Verkehr Ihre Kollektive.

Muster B — dedizierter Uplink-Knoten. Ein Knoten im Cluster hat einen zusätzlichen Port nach außen. Die übrigen Knoten erreichen die Außenwelt über diesen Knoten. Das funktioniert bei knappem Budget und in kleinen Laboraufbauten, aber der Uplink-Knoten wird zum Nadelöhr für Datensatz-Lesezugriffe und zum Single Point of Failure für den Management-Zugang.

Die harte Wand bei etwa 16 Knoten

Oberhalb von 16 Knoten stirbt Switchless aus drei voneinander unabhängigen Gründen — jeder einzelne davon genügt:

1. Portanzahl pro Knoten. Ein Full Mesh will N-1 Ports pro Knoten. Der Hyperwürfel will log₂(N). Selbst die logarithmische Skalierung bedeutet, dass 16 Knoten 4 Ports pro Knoten brauchen — das ist am Rand der praktikablen NIC-Dichte auf einem einzelnen PCIe-Gen5-x16-Slot. 32 Knoten brauchen 5 Ports pro Knoten: mehrere Slots, mehrere NUMA-Platzierungen, die verwaltet werden wollen.
2. Verkabelungs-Kombinatorik. Ein 16-Knoten-Full-Mesh hat 120 Kabel. Ein 16-Knoten-Q₄-Hyperwürfel hat 32. So oder so zählen Beschriftung, Dokumentation und der physische Zugang zu jedem einzelnen Kabel. Ein falsch gestecktes Kabel in einem 32-Kabel-Hyperwürfel kostet Stunden Suche.
3. Der Betriebsalltag. Eine defekte NIC in einem switchlosen Fabric zu ersetzen heißt: die N-1 (oder log N) Kabel identifizieren, die daran hingen, und jedes einzelne auf einen bestimmten Port der Ersatzkarte umlegen. Der MTTR-Unterschied gegenüber einem geswitchten Aufbau ist real.

Die ehrliche Zusammenfassung: Switchless ist richtig bei 2 bis 4 dedizierten Knoten, vertretbar bei 5 bis 8 Knoten mit klarer Zusage „wir wachsen nicht“und ein Fehler bei 9 oder mehr Knoten. Ab 9 Knoten: Switch kaufen.

Zwei konkrete Builds, die es zu beschreiben lohnt

2× Kentino AI 256 Turin Dual, direkt verbunden, 400G. Zwei 8-GPU-EPYC-Turin-Knoten (5090 oder RTX Pro 6000 Blackwell), jeweils mit einer Single-Port-ConnectX-7 400 GbE / NDR und einem 3 m langen passiven OSFP-DAC dazwischen. Gesamtkosten der Inter-Node-Hardware: ~€4k. NCCL-Allreduce-Busbw bei großen Nachrichten: ~45 GB/s. Geeignet für Zwei-Wege-Tensor-Parallel-Inferenz eines dichten 405B-Modells (Layer auf beide Boxen verteilt) oder für das Fine-Tuning eines 70B-Modells, das knapp nicht in eine Box passt. Varianten dieses Aufbaus haben wir mehrfach ausgeliefert. Er ist unspektakulär, er funktioniert, und er kostet eine Größenordnung weniger als das entsprechende Setup mit Switch.

4× Kentino AI 128 im K₄ Full Mesh, 100G. Vier Single-Socket-EPYC-Knoten mit je 4× RTX Pro 6000 Blackwell. Jeder Knoten trägt ein Tri-Port-äquivalentes NIC-Layout (eine Dual-Port plus eine Single-Port, oder eine Quad-Port mit einem ungenutzten Port), Fabric aus 100-GbE-DACs. Sechs Kabel insgesamt. Bisektionsbandbreite 400 Gb/s. Eingesetzt für Tensor-Parallel-Inferenz eines Modells der 70B-Klasse mit 4-Wege-Splitting und vollem Aktivierungsaustausch zwischen jedem Paar. Damit entfällt der Switch als Single Point of Failure des Inferenzdienstes, und das Budget des Kunden floss in GPUs statt in Switching-Hardware. Der Haken: fest auf vier Knoten festgelegt; Wachstum erfordert eine Neukonzeption.

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Computing, Robotik und den Systemen, die beides verbinden. Kommentare und Korrekturen gerne an info@kentino.com.