InfiniBand vs RoCE vs běžný Ethernet: volba sítě v roce 2026

Na každé poptávce vícenodového AI clusteru se objeví tři možnosti přenosu: InfiniBand, RoCE a obyčejný TCP/IP Ethernet. Nejsou to tři body na jedné přímce. Jsou to tři různé inženýrské filozofie — bezztrátová HPC fabric už z návrhu, bezztrátově vyladěný Ethernet a běžný síťový stack, který používá zbytek výpočetní techniky — a mají odlišné nákladové křivky, odlišnou provozní náročnost a velmi odlišné správné odpovědi podle toho, co vlastně stavíte.

Tento článek vysvětluje, co každá z nich je, kam v roce 2026 reálně mizí latence a peníze a kde leží hranice mezi „potřebujeme RDMA“ a „potřebujeme RDMA, a konkrétně InfiniBand“. Na závěr najdete přehlednou rozhodovací matici.

Pro koho: pro ty, kdo dimenzují AI cluster o 2 až 32 nodech a rozhodují se, jestli je položka za InfiniBand switch poctivá, nebo jen divadlo. Doplňkově viz N01 pro základy 25/100 GbE, N06 pro rozpad latenčního rozpočtu, N07 pro parametry směrování a N08 pro praktické zprovoznění RDMA.

Tři fabric technologie a co každá z nich skutečně je

Nativní InfiniBand je účelově navržená HPC fabric. Linková vrstva je bezztrátová už z principu — řízení toku pomocí kreditů znamená, že odesílatel nevysílá, dokud nemá příjemce volné místo v bufferu, takže se pakety při zahlcení nezahazují tak jako na Ethernetu. Směrování je centralizované: každá fabric má subnet manager (proces opensm nebo vestavěný SM na řízeném switchi), který přiděluje LID, počítá cesty a při změně topologie provádí rekonfiguraci. Aplikační rozhraní je verbs API — ibv_post_send, queue pairs, completion queues, memory regions — tedy totéž API, které si převzal zbytek RDMA světa.

V roce 2026 je nasazenou generací NDR (400 Gb/s na port, ConnectX-7, switche Quantum-2). XDR (800 Gb/s, ConnectX-8, Quantum-X800) se letos dodává do objednávek hyperscalerů a AI laboratoří; IBTA zveřejnila specifikaci XDR v roce 2023 a křemík je nyní v sériové výrobě. Latence průchodu switchem je na cut-through křemíku NDR pod 100 ns — nejnižší komerčně dostupná, a drží si prvenství zhruba čtyřnásobkem už dvě desetiletí.

RoCEv2 (RDMA over Converged Ethernet, verze 2) je totéž RDMA verbs API, jen běžící nad UDP/IP přes Ethernet. Křemík síťové karty je u ConnectX-7 i ConnectX-8 naprosto stejný čip jako u InfiniBand varianty — mezi režimy jej přepíná firmwarový příznak (LINK_TYPE_P1 = 1 pro IB, 2 pro Ethernet). Co zadarmo není: Ethernet je ve výchozím stavu ztrátový, zatímco RDMA předpokládá bezztrátový přenos. Nasazení RoCE proto vyžaduje, aby se fabric na linkové vrstvě chovala jako InfiniBand, což znamená Priority Flow Control (PFC) jako krátkodobou záchrannou brzdu, ECN jako dlouhodobý signál zahlcení a regulační smyčku typu DCQCN, která obojí propojuje. Přesně tahle konfigurační práce — a provozní riziko — odděluje RoCE od obyčejného Ethernetu. Při správném nastavení se RoCEv2 dostává na dohled latenci InfiniBandu: 1.5–2.5 µs RDMA RTT přes jeden switch proti zhruba 1 µs u IB.

Obyčejný TCP/IP Ethernet je zbytek planety. Sockets API, jaderný síťový stack, žádné RDMA, žádná záruka bezztrátovosti. Výkon se podle N06 pohybuje v pásmu 10–30 µs na jeden směr, propustnost je u hromadných přenosů v pohodě až do linkové rychlosti karty a CPU leží na datové cestě. Pro správní provoz, stahování modelů, telemetrii a gigabit mezi robotem a inferenčním serverem je to ta správná fabric. Pro synchronní gradientové AllReduce napříč 16 GPU je to fabric špatná.

Hlavní srovnání

Řádek s náklady čtěte jako relativní, nikoli absolutní. Reálný rozdíl u switchů je zhruba 2–3× na port mezi InfiniBand NDR switchem a srovnatelným Ethernet switchem AI třídy (Spectrum-X, Tomahawk 5/6). Samotná síťová karta je v obou režimech v podstatě stejný hardware; rozdíl je v licencích a v podpoře.

Kam mizí latence

N06 rozebírá jedno RDMA kolo mikrosekundu po mikrosekundě. Zhuštěná verze relevantní pro toto srovnání:

InfiniBand vítězí v latenci switchovacího ASICu — to je mezera, která se nezavřela. Moderní AI Ethernet switche (Spectrum-X SN5600 / Tomahawk 5) dostávají číslo na jeden skok do pásma 400–600 ns, což je dost konkurenceschopné na to, aby byl napříč dvouskokovou leaf-spine topologií absolutní rozdíl řádově 1 µs. To hraje roli u těsných tensor-paralelních kolektivních operací. U čtení ze storage nebo u dávkové inference nikoli.

Sloupec s obyčejným TCP je ten, který děsí lidi, kteří znají latenci jen ze socketů. Režie jádra 10–30 µs na směr je na každý paket; u kolektivních operací s krátkými zprávami a mnoha koly se nasčítá rychle. NCCL přes TCP funguje, ale je to varianta poslední záchrany.

Propustnost a realita síťových karet

V roce 2026 pokrývá InfiniBand i RoCE tatáž rodina karet:

Hlavní sdělení: karta ConnectX-7, kterou koupíte pro IB, je tatáž karta, kterou byste koupili pro RoCE. Ceníková cena se na začátku roku 2026 pohybuje kolem €1,500–€2,200 za jednoportovou NDR verzi; varianta SKU jen přednastavuje firmware. Proto „přechod z IB na RoCE“ ve většině clusterů neznamená nákup nových karet — je to firmwarový příznak, výměna transceiverů a změna switchovací fabric.

Na straně AMD je Pensando Pollara 400 (dnes dodávaná s platformami MI300X/MI325) první věrohodná RDMA karta mimo NVIDIA s produkčními AI nasazeními. Broadcom ohlásil 800G AI kartu v roce 2025 (generace Thor Ultra / Thor 3). Poprvé za deset let není trh RDMA karet záležitostí jediného dodavatele.

Switche: tady jsou doopravdy peníze

Síťová karta stojí napříč režimy zhruba stejně. Switch nikoli.

Přirážka 2–3× na port u InfiniBandu je stabilní už roky. Je to reálný náklad: 64portový Quantum-2 NDR switch se podle optiky a podpory pohybuje v pásmu €120k–€180k; 64portový Spectrum-X SN5600 se srovnatelným počtem portů vychází kolem €60k–€90k; běžný whitebox s Tomahawk 5 od tchajwanského OEM může stát polovinu. Připočtěte optiku — OSFP NDR transceivery stojí při větších objemech €600–€1,200 za kus — a rozdíl „se vším všudy“ na port se ještě zvětší.

Kde se rozdíl nezvětšuje tolik, jak lidé čekají: u AOC (aktivních optických kabelů) a DAC (přímých měděných propojů) pro rozvody uvnitř racku. Tři metry DAC vyjdou v obou ekosystémech na ~€100–€200. Velký účet za optiku přijde až tehdy, když překročíte zhruba 5 m a potřebujete SR/LR transceivery na obou koncích.

Pohled na Spectrum-X: nabídka „AI Ethernetu“ od NVIDIA

Strategickou odpovědí NVIDIA na posun k Ethernetu je Spectrum-X — balík switchovacího křemíku Spectrum-4 (a nově Spectrum-5), karet BlueField/ConnectX a end-to-end řízení zahlcení, kterému říkají „adaptivní směrování + vyvažování zátěže na základě telemetrie“. Marketingové tvrzení zní, že Spectrum-X dodává na Ethernetu výkon AllReduce na úrovni InfiniBandu, ověřeno na reálných AI trénovacích workloadech.

Naměřená realita, podle vlastních benchmarků NVIDIA i podle třetích stran:

• Spectrum-X uzavírá zhruba 80–90 % výkonnostní mezery v AllReduce vůči InfiniBand NDR na NCCL workloadech. Zbývající rozdíl jsou krátké zprávy a chování v nejhorších percentilech.
• Tajnou ingrediencí je adaptivní směrování po jednotlivých paketech (rozptýlí pakety přes více cest a u příjemce je přeřadí). Standardní ECMP hashuje celé toky, což na AI workloadu s malým počtem toků vytváří horká místa. Spectrum-X předpoklad hashování toků boří.
• Funguje to jen jako celek. Zkombinujte kartu jiného výrobce se switchem Spectrum a telemetrická cesta adaptivního směrování se rozbije. To je ten kompromis se vendor lock-inem — z ekosystému InfiniBandu uniknete jen proto, abyste do něj vstoupili znovu na Ethernetu.

Upřímné čtení: Spectrum-X je skutečná inženýrská odpověď na skutečný problém. Zároveň drží NVIDIA ve hře na každé vrstvě AI clusteru, což je přesně to, čemu chtěli hyperscaleři volbou Ethernetu uniknout. Zda jde o správnou volbu, závisí na tom, jestli zbývajících 10–20 % výkonu stojí za integrační svobodu, kterou obětujete.

Odpovědí mimo NVIDIA je Ultra Ethernet — specifikace UEC 1.0 zveřejněná v roce 2025, za níž stojí AMD, Broadcom, Cisco, HPE, Intel, Meta a Microsoft. Vícecestné doručování, vyvažování zátěže na úrovni paketů, řízení zahlcení přímo v síti, otevřené API. Pensando Pollara a Broadcom Thor 3 jsou první karty, které UEC dodávají. V polovině roku 2026 je to věrohodná cesta k Ethernetu pro AI napříč dodavateli, která nevyžaduje stack od NVIDIA od začátku do konce.

Kontext hyperscalerů (a co z něj plyne pro nás ostatní)

Hlavní zpráva posledních dvou let: hyperscaleři od InfiniBandu z velké části odešli. Meta trénovala Llamu 3 přes RoCE. AI fabric u AWS je Ethernet od začátku do konce. TPU pody Googlu byly vždy vlastní konstrukce, ale jejich flotily GPU stojí na Ethernetu. Microsoft Azure provozuje mix a do Ethernetu na nových buildech výrazně investuje. Zhruba 70 % nových nasazení AI infrastruktury zvolilo na začátku roku 2026 podle výsledkových zpráv Broadcomu Ethernet místo InfiniBandu — obrat oproti zhruba 80% podílu InfiniBandu v roce 2023.

Publikovaný závěr Mety byl jednoznačný: správně vyladěné RoCEv2 a InfiniBand dodávají na jejich workloadech srovnatelný trénovací výkon. Ten posun není o hrubém výkonu — je o tom, kdo vlastní křemík, kdo platí SRE týmy, jak se shánějí díly a jestli provozní model zapadá do zbytku datacentra.

Pro nás ostatní, kdo neprovozujeme trénovací fabric o 10 000 GPU, jsou podstatné tři věci:

1. Otázka „zvládne Ethernet AI?“ je vyřešená. Zvládne. RoCEv2 s moderním AI switchovacím křemíkem a pořádným řízením zahlcení je produkční kvalita. Hyperscaleři to dokázali. Tuhle volbu už v poptávce nemusíte obhajovat.
2. Provozní expertiza se posunula spolu s křemíkem. Před pěti lety byli ve vaší zemi tři lidé, kteří uměli rozjet InfiniBand fabric, a jeden, který uměl pořádně vyladit PFC/DCQCN na RoCE. Dnes jsou RoCE dovednosti mnohem rozšířenější, zatímco ty InfiniBandové jsou soustředěné v HPC laboratořích a u partnerů NVIDIA. Podle toho plánujte personální obsazení.
3. Příběh o vendor lock-inu se obrátil. InfiniBand byl vždy jednododavatelský (NVIDIA, dříve Mellanox). Ethernet byl otevřenou alternativou — dokud Spectrum-X nepřinesl nabídku „vše od NVIDIA“ i na Ethernet. Skutečně dodavatelsky neutrální odpovědí roku 2026 je RoCE třídy UEC s křemíkem od Broadcomu nebo AMD.

Kdy je InfiniBand správná volba

InfiniBand je správná odpověď, pokud platí většina z následujícího:

• Dedikovaný trénovací cluster, 16 a více nodů, na kterém trvale běží synchronní gradientové AllReduce. Latenční výhoda u malých kolektivních operací se nasčítá přes tisíce iterací.
• Stejně kupujete systémy NVIDIA HGX nebo DGX. Tyto základní desky jsou navržené kolem NDR/XDR. Míchat na DGX nodu Ethernet je provozně nešikovné.
• Máte vlastní odborníky, kteří znají subnet manager, umí číst výstup ibtracert a jsou si jistí ve správě NVIDIA UFM.
• Rozpočet unese přirážku 2–3× na port u switche bez toho, aby se rozsypala ekonomika clusteru.
• Cluster je jediným smyslem celé budovy. Čisté HPC/AI nasazení bez sdílených storage tenantů a bez aplikačního provozu — InfiniBand zjednodušuje provozní model, protože se nemusí řešit žádný spor o QoS.

Pokud váš build vystihují tři z těchto pěti bodů, InfiniBand si svou cenovku zaslouží. Pokud jen jeden, platíte za fabric optimalizovanou na cizí problém.

Kdy je RoCEv2 pragmatická volba

RoCE je správná odpověď pro nejširší pásmo zákazníků Kentino:

• 4 až 16 nodů, smíšený workload, trénink, inference i storage na jedné fabric.
• Hlídáte rozpočet, ale RDMA potřebujete. Cluster dělá dost vícenodového tréninku nebo distribuované inference na to, aby byla daň jaderného stacku u obyčejného TCP nepřijatelná — ale nepřijatelná je i přirážka za InfiniBand switch.
• Sdílená fabric s provozem mimo AI. Provozní systémy, storage i přístup vývojářů jedou po stejné ethernetové infrastruktuře. RoCE s tím koexistuje; InfiniBand potřebuje vlastní fyzickou vrstvu.
• Chcete možnost volby dodavatele. Zkombinujte switche Broadcom s kartami NVIDIA a nody AMD MI300. Ethernetový ekosystém to dovolí, InfiniBandový ne.
• Tým už má provozní hloubku v Ethernetu. Ladění PFC/ECN je reálná práce, ale práce na podloží, které už všichni znají. Ten „SM“ ve vaší hlavě je řídicí rovina L2/L3, kterou provozujete roky.

Past, na kterou je třeba upozornit: RoCEv2 ve špatné konfiguraci je horší než obyčejné TCP. Bouře PFC pauz napříč nesegmentovanou fabric dokážou položit správní rovinu. Špatně nastavené prahy ECN vytvoří fabric, která v perftestu vypadá zdravě, ale zhroutí se při reálném incastu během AllReduce. Podle N08 jde o varování ve stylu „ruční rozvalení PFC konfigurace na běžném whiteboxu je samostatný projekt“. Nakupujte u dodavatele s ověřenými RoCE šablonami (NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 s profilem služby pro AI fabric), nebo najměte někoho, kdo to už dělal.

Kdy obyčejný TCP/IP Ethernet stačí

Obyčejný Ethernet — žádné RDMA, žádné PFC, žádné ladění DCQCN, jen sockety a jaderný stack — je správná odpověď častěji, než jsou lidé ochotni přiznat:

• Jednonodový server se 4× nebo 8× GPU. Provoz mezi GPU zůstává uvnitř skříně na PCIe nebo NVLinku. Jedinou rolí sítě je dostat dovnitř trénovací data, ven váhy modelu a kolem dokola telemetrii. 25 GbE nebo jedna linka 100 GbE bohatě stačí.
• Inferenční clustery s lehkou koordinací mezi nody. Latenci jednoho požadavku dominuje výpočet na GPU; 10 µs sítě je šum.
• Laboratoř se smíšeným využitím, robotický pracovní stůl, vývojové prostředí. Cluster neběží na trvalém synchronním tréninku. RDMA je zbytečný luxus.
• Edge-AI sestavy pro robotiku popsané v I01 — robot komunikuje s jedním inferenčním serverem, latenční rozpočet je ve stovkách milisekund a fabric je neviditelná.

Upřímná odpověď pro většinu zákaznické základny Kentino: pokud kupujete jediný K-AI 256 Turin Dual s 8× RTX 5090, nepotřebujete InfiniBand a nepotřebujete ani RoCE. Dvojice 100GbE linek do standardního datacentrového switche, zapnuté jumbo rámce, výchozí ladění jádra — to je správná odpověď a stojí o pět číslic méně než alternativa.

Upřímný pohled Kentino

Prodáváme zákazníkům, kteří staví clustery o 1 až 8 nodech se spotřebními a workstationovými GPU (5090, 4090, RTX Pro 6000 Blackwell). Ne hyperscale trh, ne HPC trh. Pro takový rozsah platí:

• Jednonodová skříň s 8 GPU: obyčejný 25/100 GbE. Hotovo. Žádné RDMA, žádná daň za fabric. Zajímavá propustnost je uvnitř skříně na PCIe Gen5; vnější linka slouží pro příjem dat a správu.
• Cluster o 2 až 4 nodech s občasným distribuovaným tréninkem: RoCEv2 na 100 GbE s dodavatelsky podporovanou šablonou AI switche. Spectrum-X, pokud chcete cestu ověřenou NVIDIA; Tomahawk 5 / Arista, pokud chcete cestu napříč dodavateli. Počítejte se dvěma týdny na pořádné zprovoznění PFC/ECN a na ověření přes nccl-tests.
• Cluster o 4 až 8 nodech s trvalým tréninkem: RoCEv2 na 200 nebo 400 GbE, se zcela oddělenou správní rovinou. Tohle je sladké místo nákladové křivky na port; rozdíl vůči IB v této velikosti nestačí k ospravedlnění přirážky za switch, ledaže je workload neobvykle citlivý na latenci.
• Nad 8 nodů a trvalý trénink náročný na AllReduce: InfiniBand si začíná zasloužit zvážení. Ne automaticky — změřte to. Ale v této velikosti už provozní jednoduchost ve stylu „fabric je bezztrátová, směrování řeší SM, NCCL prostě funguje“ stojí reálné peníze.
• Cokoli skutečně v měřítku DGX: to nejsme my. Kupte HGX a smiřte se s InfiniBand balíkem.

---

Toto je součást Kentino Wiki, referenční série o AI výpočtech a systémech, které je propojují. Opravy uvítáme na info@kentino.com.