NVLink a NVSwitch: kdy na nich záleží a proč u sortimentu Kentino většinou ne

Opakující se dotaz z naší schránky: zákazník, který si dimenzuje server se 4 nebo 8 GPU, narazí na marketing NVIDIA DGX chlubící se propustností NVLinku v terabajtech za sekundu a ptá se, jestli sestava Kentino „má NVLink“. Upřímná odpověď zní ne, nemá ji žádná z našich sestav — a pro workloady, které zákazník reálně provozuje, to vůbec nevadí. Tento článek vysvětluje proč.

NVLink je na špici nabídky skutečně působivý a všude jinde zcela chybí. Marketing nikde jasnou hranici nenakreslí, takže kupující buď přeplatí za propojení, které nepotřebují, nebo naopak nakoupí málo v domnění, že PCIe je plošně skokové zhoršení. Ani jedno není pravda. Hranice je ostrá a vede na konkrétním místě.

Co NVLink vlastně je

NVLink je propojení typu point-to-point s vysokou propustností mezi dvěma GPU, které obchází PCIe root complex hostitele. Dvě GPU spojená NVLinkem si přes něj posílají tenzory přímo, bez obcházky přes paměť CPU a bez souboje o pásmo s čímkoli dalším na PCIe stromu. V tom spočívá celá podstata.

Náskok v propustnosti oproti PCIe je výrazný. PCIe Gen5 x16 — dnešní strop pro spotřebitelský nebo workstation slot — dává zhruba 64 GB/s v každém směru, tedy 128 GB/s dohromady. NVLink 5 na B200 a GB200 nabízí 1.8 TB/s souhrnně na jedno GPU, což je zhruba 14× víc než slot PCIe Gen5 x16.

Jakmile takové srovnání napíšete, začne být zavádějící, protože GPU s NVLinkem 5 nemají jako hlavní propojení PCIe Gen5 x16. NVLink žije na datacentrových SKU (A100, H100, H200, B200, GB200); na spotřebitelských a workstation SKU (4090, 5090, RTX Pro 6000 Blackwell, L40, L4) je jedinou cestou PCIe. „NVLink versus PCIe“ v praxi znamená „řada H100 versus všechno ostatní“.

Generace NVLinku v přehledu

Od druhé ke čtvrté generaci rostl počet linků, mezi generací 4 a 5 se pak zdvojnásobila propustnost jednoho linku (z 50 GB/s na 100 GB/s). Proto NVLink 5 působí jako skokový posun — a také jím je.

PCIe v sestavě Kentino:

V nejhorším případě (Gen4) je PCIe zhruba 1/14 NVLinku 4. V nejlepším případě (Gen5) je PCIe zhruba 1/14 NVLinku 5. Ten poměr drží NVIDIA svým návrhem prakticky konstantní.

Upřímná část: nabídka Kentino NVLink nemá

NVIDIA odstranila NVLink konektor ze spotřebitelských GeForce počínaje generací Ada Lovelace. Poslední spotřebitelskou kartou s funkčním můstkem byla 3090; 4090 už ho nemá a 5090 také ne. Oficiálním důvodem bylo, že „uživatelé chtějí propustnost uvnitř jednoho GPU, ne mezi dvěma“ — což se příhodně krylo s tím, že zákazníci trénující modely platí za propustnost mezi GPU datacentrové ceny.

Zajímavým případem je RTX Pro 6000 Blackwell — 96GB karta pro workstationy i servery na stejném Blackwell křemíku jako B200, tedy zjevná volba pro „seriózní množství GPU paměti bez přechodu na B200“. Ani ona NVLink nemá. Ani ve workstation, ani v serverové, ani v Max-Q variantě. Na plošném spoji není konektor pro můstek. Datasheety NVIDIA uvádějí NVLink jako nepodporovaný u všech tří SKU.

Tohle je záměrná segmentační hranice. NVLink znamená posun k H100, H200, B200 nebo GB200 — provedení SXM, základová deska HGX, jiné šasi, jiné chlazení a alokace, kterou Kentino nemá. Pokud NVLink opravdu potřebujete, obraťte se na dodavatele HGX systémů.

O co bez NVLinku přijdete

Penalizace se projeví u dvou konkrétních typů workloadu:

1. Tenzorový paralelismus napříč GPU. Když se model nevejde do jednoho GPU a váhovou matici každé vrstvy rozdělíte mezi karty, vyžaduje každá vrstva transformeru operaci AllReduce přes všechny shardy. AllReduce je náročný na propustnost a citlivý na latenci. Úzkým hrdlem je PCIe.
2. Distribuovaný trénink s jemnozrnnou synchronizací gradientů. DDP, FSDP i trénink ve stylu Megatronu dělají AllReduce gradientů v každém kroku. Čím méně výpočtu připadá na jeden krok a čím větší je model, tím víc propojení určuje celkový čas.

Všechno ostatní — inference na jednom GPU, pipeline paralelismus, datový paralelismus, embeddingy, inference pro počítačové vidění, ASR, TTS, generování obrázků difuzními modely i doladění modelu, který se vejde do jednoho GPU — běží na PCIe bez potíží. NVLink je v těchto případech irelevantní.

Naměřené škálování tenzorového paralelismu u LLM třídy 70B v INT4/INT8 podle publikovaných benchmarků na 3090/4090/L40S:

Berte to jako rozpětí, ne jako slib — přesná čísla závisí na modelu, velikosti dávky, délce sekvence, kvantizaci, NUMA topologii i osazení slotů. Tvar křivky je ale reálný: tenzorový paralelismus na PCIe škáluje podlineárně a penalizace roste s počtem GPU. Právě proto dokumentace vLLM sama doporučuje na systémech s pouhým PCIe a více než dvěma GPU raději pipeline paralelismus než tenzorový.

Praktická náhrada: nechte model na jednom GPU

Nedoceněný fakt o dnešní nabídce GPU: RTX Pro 6000 Blackwell má 96 GB VRAM na jediné kartě — dost na to, aby v jednom GPU hostila 70B model v INT4 nebo INT8 i s místem pro KV cache. Pokud se dělení modelu mezi GPU úplně vyhnete, je otázka NVLinku bezpředmětná.

Hostování na jedné kartě je správná architektura pro téměř každý model, který v roce 2026 stojí za provozování. Výjimkou jsou velmi velké husté modely (405B, GPT-OSS 120B) a MoE uspořádání, kde se sada aktivních expertů na kartu vejde, ale kompletní váhy už ne.

Pro více karet na PCIe je správnou volbou pipeline paralelismus, nikoli tenzorový. Pipeline paralelismus rozdělí vrstvy do dlouhých souvislých bloků (GPU 0 drží vrstvy 0–39, GPU 1 vrstvy 40–79 atd.). Provoz mezi GPU tvoří jen aktivační tenzor na hranici každého bloku — tedy pár set KB na token, ne gigabajty na vrstvu.

Na serveru s 8× 5090, který obsluhuje 70B model, model mezi všech osm karet nedělíte. Spustíte dvě instance se čtyřcestným pipeline paralelismem, nebo čtyři instance s dvoucestným, případně — a to nejčastěji — osm nezávislých instancí menšího modelu za load balancerem. Z osmikartového serveru se stane osminásobný násobič propustnosti místo jednoho obřího virtuálního GPU. U produkční inference bývá replikovaná architektura správnou odpovědí bez ohledu na dostupnost NVLinku: nabízí vyšší souběžnost a při výpadku karty degraduje plynule.

Kdy na NVLinku opravdu záleží

Workloady, u kterých je absence NVLinku skutečný problém, ne jen marketingový:

• Trénink modelu, který se nevejde do jednoho GPU. Předtrénink nebo plné doladění hustého modelu nad 70B vyžaduje rozdělení modelu mezi GPU s AllReduce gradientů v každém kroku. NVLink tady dělá rozdíl mezi produktivním osmikartovým rigem a čtyřmi kartami, které většinu času čekají na sběrnici.
• Tenzorově paralelní inference na velmi velkých hustých modelech. Pokud potřebujete obsluhovat 405B model napříč GPU a nemůžete přijmout latenci na token, kterou přináší pipeline paralelismus, NVLink hraje roli.
• MoE se směrováním na experty napříč GPU. All-to-all u MoE je na PCIe brutální. DeepSeek-V3, Mixtral 8×22B a podobné návrhy z něj těží jednoznačně.
• Vysokofrekvenční smyčky RLHF / GRPO. Synchronizace policy a reference opakovaná tisíckrát za epochu naráží na stejné náklady AllReduce.
• Trénink difuzních modelů na více GPU ve velkém. Některé větší video difuzní modely mají aktivační vzorce podobné tenzorovému paralelismu.

Pokud je Váš workload na tomto seznamu, nekupujte server Kentino s 8× 5090 s očekáváním, že se bude chovat jako DGX H100. Pořiďte si HGX systém, nebo si pro fázi tréninku pronajměte H100/B200 v cloudu a váhy si pak přeneste zpět on-prem pro inferenci. To je naprosto rozumný postup a otevřeně ho doporučujeme.

NVSwitch: propojení na úrovni šasi

NVLink je point-to-point — GPU A na GPU B přes svazek linků. Nad dvě GPU v šasi buď dáte každé dvojici vlastní vyhrazený NVLink (což se nad čtyři karty neškáluje), nebo mezi ně postavíte NVLink přepínač. Tím přepínačem je NVSwitch od NVIDIA.

Na osmikartové základové desce HGX H100 dávají čtyři čipy NVSwitch každému GPU plnou propustnost NVLinku 4 ke každému jinému GPU — 900 GB/s, all-to-all, bez soupeření o pásmo. V racku GB200 NVL72 škáluje NVSwitch napříč 72 GPU v jediné neblokující topologii, 1.8 TB/s na GPU a 130 TB/s souhrnně. Teprve NVSwitch způsobí, že „jedno velké virtuální GPU“ skutečně funguje; bez něj je NVLink jen rychlejší kabel mezi dvojicí karet.

Prakticky:

• V žádné sestavě Kentino NVSwitch není. NVSwitch se dodává jen uvnitř HGX a DGX certifikovaných NVIDIA. Do šasi Supermicro ani Bone64c žádný čip dodatečně nevložíte.
• V žádné kartě RTX NVSwitch nikdy nebyl. Je výhradně datacentrový.
• GB200 NVL72 je řešení v měřítku racku, ne jednoho serveru. 72 GPU spolupracuje přes měděně kabelovaný NVLink rychlostí backplane. Kabely, přepínače i backplane jsou proprietární od NVIDIA. Ceníková cena jde do milionů amerických dolarů a dodací lhůty se počítají na čtvrtletí. Je to horní hranice toho, co NVLink v roce 2026 umožňuje. Pro nás to není.

Cena a dostupnost

Systémy s NVLinkem patří do vlastní cenové kategorie. Přibližný stav trhu v polovině roku 2026, USA/EU:

Cenový rozdíl mezi sestavou Kentino s 8× Pro 6000 a systémem HGX H100 je při stejném nominálním počtu GPU zhruba dvojnásobný. Rozdíl ve výkonu je u workloadů nezávislých na NVLinku mnohem menší než dvojnásobek. Pro práci závislou na NVLinku (trénink velkých modelů, tenzorový paralelismus u 405B) je naopak H100 správný nástroj a cena je opodstatněná. Pravidlo palce: pokud se Váš workload vejde do jednoho 96GB GPU, ušetříte se sestavou Pro 6000 přes 50 % rozpočtu. Pokud ne, zaplaťte si NVLink.

Shrnutí

---

Tento text je součástí Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je propojují. Komentáře a opravy uvítáme na info@kentino.com.