NVLink und NVSwitch: Wann es zählt – und warum meist nicht für Kentinos Lineup

Eine Frage, die regelmäßig in unserem Postfach landet: Ein Kunde, der einen Server mit 4 oder 8 GPUs dimensioniert, sieht NVIDIAs DGX-Marketing mit NVLink-Bandbreiten im Terabyte-Bereich prahlen und fragt, ob der Kentino-Build „NVLink hat“. Die ehrliche Antwort lautet nein, keiner unserer Builds hat es — und für die Workloads, die der Kunde tatsächlich hat, ist das in Ordnung. Dieser Artikel erklärt, warum.

NVLink ist an der Spitze des Portfolios wirklich beeindruckend und überall sonst schlicht nicht vorhanden. Das Marketing zieht diese Linie nicht klar, deshalb zahlen Käufer entweder zu viel für ein Fabric, das sie nicht brauchen, oder kaufen zu klein ein, weil sie PCIe pauschal für einen dramatischen Rückschritt halten. Beides stimmt nicht. Die Linie ist scharf und verläuft an einer ganz bestimmten Stelle.

Was NVLink tatsächlich ist

NVLink ist ein Punkt-zu-Punkt-Interconnect mit hoher Bandbreite zwischen GPUs, der den PCIe-Root-Complex des Hosts umgeht. Zwei GPUs mit NVLink-Verbindung schieben Tensoren direkt über die Strecke, ohne Umweg über den CPU-Speicher und ohne Konkurrenz zu allem anderen am PCIe-Baum. Das ist der ganze Pitch.

Der Bandbreitenvorteil gegenüber PCIe ist erheblich. PCIe Gen5 x16 — die aktuelle Obergrenze für einen Consumer- oder Workstation-Slot — liefert rund 64 GB/s je Richtung, 128 GB/s aggregiert. NVLink 5 auf B200 und GB200 liefert 1.8 TB/s aggregiert je GPU, also etwa das 14-fache eines PCIe-Gen5-x16-Slots.

Dieser Vergleich führt in dem Moment in die Irre, in dem man ihn aufschreibt, denn GPUs mit NVLink 5 sind keine GPUs, deren primärer Interconnect PCIe Gen5 x16 wäre. NVLink lebt auf Rechenzentrums-SKUs (A100, H100, H200, B200, GB200); auf Consumer- und Workstation-SKUs (4090, 5090, RTX Pro 6000 Blackwell, L40, L4) ist PCIe der einzige Weg. „NVLink gegen PCIe“ heißt in der Praxis „die H100-Linie gegen den Rest“.

NVLink-Generationen im Überblick

Von Generation 2 bis 4 wuchs die Zahl der Links, von Gen 4 auf Gen 5 verdoppelte sich dann die Bandbreite je Link (50 GB/s auf 100 GB/s). Deshalb wirkt NVLink 5 wie ein Sprung — und ist es auch.

PCIe in einem Kentino-Build:

Im ungünstigsten Fall (Gen4) liegt PCIe bei ~1/14 von NVLink 4. Im besten Fall (Gen5) bei ~1/14 von NVLink 5. Das Verhältnis bleibt nach NVIDIAs Design weitgehend konstant.

Der ehrliche Teil: Das Kentino-Portfolio hat kein NVLink

NVIDIA hat den NVLink-Finger ab Ada Lovelace aus den Consumer-GeForce-Karten entfernt. Die 3090 war die letzte Consumer-Karte mit funktionierender Bridge; die 4090 ließ sie weg, und die 5090 hat gar keine. Die offizielle Begründung lautete, „Nutzer wollen Bandbreite innerhalb einer GPU, nicht zwischen zweien“ — was praktischerweise damit zusammenfiel, dass Trainingskunden für GPU-übergreifende Bandbreite Rechenzentrumspreise zahlen.

Der interessante Fall ist die RTX Pro 6000 Blackwell — eine 96-GB-Karte für Workstation und Server auf demselben Blackwell-Silizium wie B200 und damit die naheliegende Wahl für „ernsthaft viel GPU-Speicher, ohne zu B200 zu gehen“. Auch sie hat kein NVLink. Nicht in der Workstation-Variante, nicht in der Server-Variante, nicht in Max-Q. Kein Bridge-Anschluss auf der Platine. NVIDIAs Datenblätter führen NVLink für alle drei SKUs als nicht unterstützt.

Das ist die bewusst gezogene Segmentierungslinie. NVLink bedeutet den Schritt zu H100, H200, B200 oder GB200 — SXM-Formfaktor, HGX-Baseboard, anderes Chassis, andere Kühlung, eine Zuteilung, die Kentino nicht hat. Wenn Sie NVLink wirklich brauchen, sprechen Sie mit einem Anbieter von HGX-Systemen.

Was Ihnen ohne NVLink fehlt

Der Nachteil zeigt sich in zwei konkreten Workload-Mustern:

1. Tensor-Parallelität über GPUs hinweg. Wenn ein Modell für eine GPU zu groß ist und Sie die Gewichtsmatrix jeder Schicht auf mehrere Karten aufteilen, braucht jede Transformer-Schicht ein AllReduce über die Shards. AllReduce ist bandbreitenhungrig und latenzempfindlich. PCIe ist der Engpass.
2. Verteiltes Training mit feingranularer Gradienten-Synchronisation. DDP, FSDP und Training im Megatron-Stil führen bei jedem Schritt Gradienten-AllReduces aus. Je kleiner die Rechenlast je Schritt und je größer das Modell, desto stärker dominiert der Interconnect die Laufzeit.

Alles andere — Einzel-GPU-Inferenz, Pipeline-Parallelität, Daten-Parallelität, Embeddings, Bildinferenz, ASR, TTS, Diffusions-Bildgenerierung, Fine-Tuning eines Modells, das auf eine GPU passt — läuft auf PCIe einwandfrei. NVLink spielt dabei keine Rolle.

Gemessene TP-Skalierung für ein LLM der 70B-Klasse bei INT4/INT8, aus veröffentlichten Benchmarks zu 3090/4090/L40S:

Lesen Sie das als Spannen, nicht als Zusagen — die genauen Zahlen hängen von Modell, Batch-Größe, Sequenzlänge, Quantisierung, NUMA-Topologie und Slot-Belegung ab. Die Form stimmt: Tensor-Parallelität über PCIe skaliert unterlinear, und der Nachteil wächst mit der Zahl der GPUs. Deshalb empfiehlt die vLLM-Dokumentation selbst auf reinen PCIe-Systemen oberhalb von zwei GPUs Pipeline- statt Tensor-Parallelität.

Die praktische Alternative: das Modell auf einer GPU halten

Die unterschätzte Tatsache der aktuellen GPU-Landschaft: Eine RTX Pro 6000 Blackwell hat 96 GB VRAM auf einer einzigen Karte — genug, um ein 70B-Modell in INT4 oder INT8 samt Platz für den KV-Cache auf einer GPU zu hosten. Wenn Sie ein Modell gar nicht erst über mehrere GPUs aufteilen, ist NVLink gegenstandslos.

Hosting auf einer einzelnen Karte ist 2026 für fast jedes Modell, das man ernsthaft ausliefert, die richtige Architektur. Ausnahmen: sehr große dichte Modelle (405B, GPT-OSS 120B) und MoE-Layouts, bei denen zwar der aktive Expertensatz auf eine Karte passt, der vollständige Gewichtssatz aber nicht.

Für Mehrkartenbetrieb auf PCIe ist die richtige Wahl Pipeline-Parallelität, nicht Tensor-Parallelität. Pipeline-Parallelität teilt die Schichten in lange zusammenhängende Blöcke auf (GPU 0 hält die Schichten 0–39, GPU 1 die Schichten 40–79 usw.). Der Verkehr zwischen den GPUs ist lediglich der Aktivierungstensor an jeder Blockgrenze — ein paar hundert KB je Token statt Gigabyte je Schicht.

Auf einem Server mit 8× 5090, der ein 70B-Modell ausliefert, teilen Sie das Modell nicht auf alle acht Karten auf. Sie fahren zwei Instanzen mit 4-facher Pipeline-Parallelität, vier Instanzen mit 2-facher Pipeline oder — am häufigsten — acht unabhängige Instanzen eines kleineren Modells hinter einem Load Balancer. Der 8er-Server wird damit zum Durchsatz-Multiplikator mit acht Replikaten statt zu einer riesigen virtuellen GPU. Für Produktionsinferenz ist die Replikat-Architektur unabhängig von NVLink meist die richtige Antwort: mehr Nebenläufigkeit und sanfte Degradation, wenn eine Karte ausfällt.

Wann NVLink wirklich zählt

Workloads, bei denen das Fehlen von NVLink ein echtes und kein Marketing-Problem ist:

• Training eines Modells, das nicht auf eine GPU passt. Pretraining oder vollständiges Fine-Tuning eines dichten Modells ab 70B verlangt, das Modell über GPUs zu verteilen und bei jedem Schritt Gradienten-AllReduces auszuführen. NVLink ist hier der Unterschied zwischen einem produktiven 8-GPU-Rig und vier Karten, die überwiegend auf den Bus warten.
• Tensor-parallele Inferenz auf sehr großen dichten Modellen. Wenn Sie 405B über mehrere GPUs ausliefern müssen und die Latenz je Token bei Pipeline-Parallelität nicht akzeptieren können, zählt NVLink.
• MoE mit GPU-übergreifendem Experten-Routing. All-to-All bei MoE ist auf PCIe brutal. DeepSeek-V3, Mixtral 8×22B und ähnliche Dense-via-MoE-Designs profitieren klar.
• Hochfrequente RLHF-/GRPO-Schleifen. Die Synchronisation von Policy und Referenz, tausendfach je Epoche wiederholt, trifft dieselben AllReduce-Kosten.
• Multi-GPU-Diffusionstraining im großen Maßstab. Einige größere Video-Diffusionsmodelle haben Aktivierungsmuster, die der Tensor-Parallelität ähneln.

Steht Ihr Workload auf dieser Liste, kaufen Sie keinen Kentino-Server mit 8× 5090 und erwarten DGX-H100-Verhalten. Kaufen Sie ein HGX-System oder mieten Sie H100/B200 für die Trainingsphase in der Cloud und holen Sie die Gewichte anschließend für die Inferenz ins eigene Haus. Das ist ein völlig vernünftiger Ablauf, den wir offen empfehlen.

NVSwitch: das Fabric auf Chassis-Ebene

NVLink ist Punkt zu Punkt — GPU A zu GPU B über ein Bündel von Links. Oberhalb von zwei GPUs in einem Chassis geben Sie entweder jedem Paar sein eigenes NVLink (das skaliert über vier hinaus nicht) oder setzen einen NVLink-Switch dazwischen. NVIDIAs NVSwitch ist genau dieser Switch.

Auf einem HGX-H100-Baseboard mit 8 GPUs geben vier NVSwitch-Chips jeder GPU volle NVLink-4-Bandbreite zu jeder anderen — 900 GB/s, All-to-All, ohne Konkurrenz. In einem GB200-NVL72-Rack skaliert NVSwitch über 72 GPUs in einer einzigen blockierungsfreien Topologie, 1.8 TB/s je GPU, 130 TB/s aggregiert. NVSwitch ist das, was „eine große virtuelle GPU“ überhaupt funktionieren lässt; ohne ihn ist NVLink nur ein schnelleres Kabel zwischen zwei Karten.

Praktisch:

• Kein NVSwitch in irgendeinem Kentino-Build. NVSwitch kommt ausschließlich in NVIDIA-zertifizierten HGX- und DGX-Systemen. Es gibt keinen Nachrüstchip für ein Supermicro- oder Bone64c-Chassis.
• Kein NVSwitch in irgendeiner RTX-Karte, niemals. Nur Rechenzentrum.
• GB200 NVL72 ist Rack-Maßstab, nicht Server-Maßstab. 72 GPUs arbeiten über kupferverkabeltes NVLink mit Backplane-Geschwindigkeit zusammen. Kabel, Switches und Backplane sind vollständig NVIDIA-proprietär. Der Listenpreis geht in die Millionen US-Dollar, mit Lieferzeiten über mehrere Quartale. Das ist das obere Ende dessen, was NVLink 2026 ermöglicht. Nichts für uns.

Kosten und Verfügbarkeit

NVLink-fähige Systeme leben in ihrer eigenen Preisklasse. Ungefährer Markt Mitte 2026, USA/EU:

Der Preisabstand zwischen einem Kentino-Build mit 8× Pro 6000 und einem HGX H100 liegt bei gleicher nomineller GPU-Zahl etwa beim 2-fachen. Der Leistungsabstand für Workloads, die nicht von NVLink abhängen, ist deutlich kleiner als 2×. Für NVLink-abhängige Arbeit (Training großer Modelle, Tensor-Parallelität auf 405B) ist die H100-Maschine das richtige Werkzeug und der Preis gerechtfertigt. Faustregel: Passt Ihr Workload auf eine 96-GB-GPU, spart der Pro-6000-Build über 50 % des Budgets. Passt er nicht, zahlen Sie für NVLink.

Zusammenfassung

---

Dies ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Compute, Robotik und den Systemen, die beides verbinden. Anmerkungen und Korrekturen gern an info@kentino.com.