InfiniBand vs RoCE vs čistý Ethernet: voľba fabric 2026

Na každom RFQ pre viacuzlový AI klaster sa objavia tri možnosti prenosu: InfiniBand, RoCE a obyčajný TCP/IP Ethernet. Nie sú to tri body na jednej priamke. Sú to tri odlišné inžinierske filozofie — bezstratová HPC sieť už z princípu, Ethernet doladený na bezstratovosť a každodenný sieťový stack, ktorý používa zvyšok výpočtovej techniky — s odlišnými nákladovými krivkami, odlišnou prevádzkovou náročnosťou a veľmi odlišnými správnymi odpoveďami podľa toho, čo vlastne staviate.

Tento článok prechádza tým, čo každá z možností je, kam v roku 2026 reálne tečú latencia a peniaze a kde leží hranica medzi „potrebujeme RDMA“ a „potrebujeme RDMA a konkrétne InfiniBand“. Na záver uvádzame prehľadnú rozhodovaciu maticu.

Pre koho je to určené: pre ľudí, ktorí dimenzujú AI klaster s 2 až 32 uzlami a rozhodujú sa, či je položka za InfiniBand prepínač úprimná alebo divadlo. Pozrite si aj N01 pre základy 25/100 GbE, N06 pre rozpočet latencie, N07 pre nastavenia smerovania a N08 pre praktické sprevádzkovanie RDMA.

Tri siete a čo každá z nich naozaj je

Natívny InfiniBand je sieť postavená priamo pre HPC. Linková vrstva je bezstratová už z návrhu — kreditové riadenie toku znamená, že odosielateľ nevysiela, kým prijímateľ nemá voľné miesto v bufferi, takže pakety sa pri zahltení nezahadzujú tak, ako ich zahadzuje Ethernet. Smerovanie je centralizované: každá sieť má subnet manager (proces opensm alebo zabudovaný SM na manažovateľnom prepínači), ktorý prideľuje LID, počíta cesty a pri zmene topológie sieť prekonfiguruje. Aplikačným rozhraním je verbs API — ibv_post_send, queue pairs, completion queues, memory regions — to isté API, ktoré si potom požičal celý zvyšok sveta RDMA.

V roku 2026 je nasadenou generáciou NDR (400 Gb/s na port, ConnectX-7, prepínače Quantum-2). XDR (800 Gb/s, ConnectX-8, Quantum-X800) sa tento rok dodáva do objednávok hyperscalerov a AI laboratórií; IBTA zverejnila špecifikáciu XDR v roku 2023 a kremík je už v sériovej výrobe. Latencia jedného skoku cez prepínač je na cut-through kremíku NDR pod 100 ns — najnižšia komerčne dostupná, a to zhruba štvornásobne už dve desaťročia.

RoCEv2 (RDMA over Converged Ethernet, verzia 2) je to isté verbs API pre RDMA, len beží na UDP/IP cez Ethernet. Kremík sieťovej karty je na ConnectX-7 alebo ConnectX-8 úplne ten istý čip ako pri InfiniBand verzii — medzi režimami ho prepína príznak vo firmvéri (LINK_TYPE_P1 = 1 pre IB, 2 pre Ethernet). Zadarmo však nie je toto: Ethernet je štandardne stratový a RDMA predpokladá bezstratový prenos. Nasadenie RoCE teda potrebuje, aby sa sieť na linkovej vrstve správala ako InfiniBand, čo znamená Priority Flow Control (PFC) ako okamžitú núdzovú brzdu, ECN ako dlhodobý signál zahltenia a riadiacu slučku typu DCQCN, ktorá ich spája. Práve toto je tá konfiguračná práca — a prevádzkové riziko — ktorá oddeľuje RoCE od obyčajného Ethernetu. Keď je urobené dobre, RoCEv2 sa latenciou približuje InfiniBandu: 1,5 – 2,5 µs RDMA RTT v rámci jedného prepínača oproti ~1 µs pri IB.

Obyčajný TCP/IP Ethernet je zvyšok sveta. Sockets API, sieťový stack v jadre, žiadne RDMA, žiadna záruka bezstratovosti. Výkon sa podľa N06 pohybuje v pásme 10 – 30 µs na jeden smer, priepustnosť bez problémov dosiahne linkovú rýchlosť karty pri hromadných prenosoch a CPU je priamo na dátovej ceste. Pre manažment, sťahovanie modelov, telemetriu a gigabit medzi Vaším robotom a inferenčným serverom je to tá správna sieť. Pre synchrónne gradientové AllReduce naprieč 16 GPU je to tá nesprávna.

Hlavné porovnanie

Riadok s cenou čítajte ako relatívny, nie absolútny. Reálny rozdiel na prepínačoch je zhruba 2 – 3× na port medzi InfiniBand NDR prepínačom a porovnateľným Ethernet prepínačom pre AI (Spectrum-X, Tomahawk 5/6). Samotná sieťová karta je v oboch režimoch v podstate rovnaký hardvér; rozdiel je v licenciách a v podpornej zmluve.

Kam sa stráca latencia

N06 rozoberá jeden RDMA okruh mikrosekundu po mikrosekunde. Skrátená verzia relevantná pre toto porovnanie:

InfiniBand vyhráva na latencii prepínacieho ASIC — to je medzera, ktorá sa nezavrela. Moderné AI Ethernet prepínače (Spectrum-X SN5600 / Tomahawk 5) dostanú číslo na jeden skok do pásma 400 – 600 ns, čo je dosť konkurencieschopné na to, aby bol naprieč dvojskokovou leaf-spine topológiou absolútny rozdiel rádovo 1 µs. Pri tesných tensor-parallel kolektívoch to má význam. Pri čítaní z úložiska alebo dávkovej inferencii nie.

Stĺpec s obyčajným TCP je ten, ktorý vystraší ľudí poznajúcich latenciu len zo socketov. Réžia jadra 10 – 30 µs na smer platí pre každý paket; pri kolektíve s krátkymi správami a množstvom okruhov sa nazbiera veľmi rýchlo. NCCL cez TCP funguje, ale je to možnosť poslednej záchrany.

Priepustnosť a realita sieťových kariet

V roku 2026 pokrýva rovnaká rodina kariet InfiniBand aj RoCE:

Podstata: karta ConnectX-7, ktorú kúpite pre IB, je tá istá karta, akú by ste kúpili pre RoCE. Katalógová cena sa začiatkom roka 2026 pohybuje okolo 1 500 – 2 200 € za jednoportovú NDR; variantné SKU len prednastaví firmvér. Práve preto nie je „prechod z IB na RoCE“ vo väčšine klastrov novým nákupom kariet — je to príznak vo firmvéri, výmena transceiverov a zmena prepínacej vrstvy.

Na strane AMD je Pensando Pollara 400 (dnes dodávaná s platformami MI300X/MI325) prvou dôveryhodnou RDMA kartou mimo NVIDIA s produkčnými AI nasadeniami. Broadcom ohlásil 800G AI kartu v roku 2025 (generácia Thor Ultra / Thor 3). Prvýkrát po desaťročí nie je trh s RDMA kartami mestom jedného dodávateľa.

Prepínače: tam sú tie peniaze

Sieťová karta stojí v oboch režimoch zhruba rovnako. Prepínač nie.

Prirážka 2 – 3× na port za InfiniBand je stabilná už roky. Je to reálny náklad: 64-portový Quantum-2 NDR prepínač je v katalógu v pásme 120 – 180 tis. € podľa optiky a podpory; 64-portový Spectrum-X SN5600 s podobným počtom portov vyjde na 60 – 90 tis. €; bežný Tomahawk 5 whitebox od taiwanského OEM môže stáť polovicu z toho. Pripočítajte optiku — OSFP NDR transceivery stoja pri objeme 600 – 1 200 € za kus — a rozdiel „so všetkým“ na port sa ešte zväčší.

Kde sa nezväčšuje tak, ako ľudia čakajú: AOC (aktívne optické káble) a DAC (priame medené prepojenia) pre rozvody v rámci racku. 3 m DAC stojí v oboch ekosystémoch ~100 – 200 €. Veľký účet za optiku príde až vtedy, keď prekročíte ~5 m a potrebujete SR/LR transceivery na oboch koncoch.

Pohľad na Spectrum-X: ponuka „AI Ethernetu“ od NVIDIA

Strategickou odpoveďou NVIDIA na posun k Ethernetu je Spectrum-X — balík kremíka prepínačov Spectrum-4 (a dnes Spectrum-5), kariet BlueField/ConnectX a ucelenej koncepcie riadenia zahltenia, ktorú nazývajú „adaptívne smerovanie + vyvažovanie záťaže na základe telemetrie“. Marketingové tvrdenie znie, že Spectrum-X dosahuje na Ethernete výkon AllReduce na úrovni InfiniBandu, overený na reálnych tréningových AI workloadoch.

Nameraná realita, z vlastných benchmarkov NVIDIA aj od tretích strán:

• Spectrum-X zatvára zhruba 80 – 90 % výkonnostnej medzery v AllReduce voči InfiniBandu NDR na NCCL workloadoch. Zvyšok medzery tvoria krátke správy a správanie v najhoršom prípade.
• Tajnou prísadou je adaptívne smerovanie po paketoch (rozptyľuje pakety cez viacero ciest a na prijímači ich usporiada). Štandardné ECMP hashuje celé toky, čo pri AI workloade s malým počtom tokov vytvára horúce miesta. Spectrum-X predpoklad hashovania tokov búra.
• Funguje to len ako celý stack. Skombinujte kartu mimo NVIDIA so Spectrum prepínačom a telemetrická cesta adaptívneho smerovania sa rozpadne. To je ten kompromis so závislosťou na dodávateľovi — z InfiniBand ekosystému uniknete len preto, aby ste doň vstúpili znova, tentoraz na Ethernete.

Úprimné čítanie: Spectrum-X je skutočná inžinierska odpoveď na skutočný problém. Zároveň drží NVIDIA v hre na každej vrstve AI klastra — presne pred tým chceli hyperscaleri voľbou Ethernetu uniknúť. Či je to správne rozhodnutie, závisí od toho, či zvyšných 10 – 20 % výkonnostnej medzery stojí za integračnú slobodu, ktorú zaň vymeníte.

Odpoveďou mimo NVIDIA je Ultra Ethernet — špecifikácia UEC 1.0 zverejnená v roku 2025, za ktorou stoja AMD, Broadcom, Cisco, HPE, Intel, Meta a Microsoft. Doručovanie po viacerých cestách, vyvažovanie záťaže na úrovni paketov, riadenie zahltenia priamo v sieti, otvorené API. Pensando Pollara a Broadcom Thor 3 sú prvé karty s UEC. V polovici roka 2026 je toto dôveryhodná cesta k Ethernetu pre AI naprieč dodávateľmi, ktorá nevyžaduje stack NVIDIA od začiatku do konca.

Kontext hyperscalerov (a čo z neho plynie pre nás ostatných)

Hlavná správa posledných dvoch rokov: hyperscaleri od InfiniBandu z veľkej časti odišli. Meta trénovala Llama 3 cez RoCE. AI sieť u AWS je Ethernet od začiatku do konca. TPU pody Google boli vždy vlastné, ale ich GPU flotily bežia na Ethernete. Microsoft Azure prevádzkuje mix a do Ethernetu v nových zostavách výrazne investuje. Zhruba 70 % nových nasadení AI infraštruktúry začiatkom roka 2026 zvolilo Ethernet namiesto InfiniBandu — podľa výsledkových zverejnení Broadcomu je to obrat oproti ~80 % podielu InfiniBandu v roku 2023.

Záver, ktorý zverejnila Meta, bol jednoznačný: poriadne doladený RoCEv2 a InfiniBand dosahujú na ich workloadoch rovnocenný tréningový výkon. Tento posun nie je o surovom výkone — je o tom, kto vlastní kremík, kto obsadzuje SRE pozície, ako sa obstarávajú diely a či prevádzkový model zapadá do zvyšku dátového centra.

Pre nás ostatných, ktorí neprevádzkujeme tréningové siete s 10 000 GPU, sú podstatné tri veci:

1. Otázka „zvládne Ethernet AI“ je uzavretá. Zvládne. RoCEv2 s moderným kremíkom AI prepínačov a poriadnym riadením zahltenia je produkčne pripravený. Hyperscaleri to dokázali. V RFQ už túto voľbu nemusíte obhajovať.
2. Prevádzkové know-how sa posunulo spolu s kremíkom. Pred piatimi rokmi boli vo Vašej krajine traja ľudia, ktorí vedeli rozbehnúť InfiniBand sieť, a jeden, ktorý vedel poriadne doladiť PFC/DCQCN na RoCE. Dnes sú zručnosti pre RoCE oveľa rozšírenejšie, zatiaľ čo tie pre InfiniBand sa sústredia v HPC laboratóriách a u partnerov NVIDIA. Personálne plánovanie tomu prispôsobte.
3. Príbeh o závislosti na dodávateľovi sa obrátil. InfiniBand bol vždy jednododávateľský (NVIDIA, predtým Mellanox). Ethernet bol tou otvorenou alternatívou — až kým Spectrum-X nepriniesol ponuku „všetko od NVIDIA“ aj na Ethernet. Skutočne dodávateľsky neutrálnou odpoveďou je v roku 2026 RoCE triedy UEC s kremíkom od Broadcomu alebo AMD.

Kedy je InfiniBand správna voľba

InfiniBand je správnou odpoveďou vtedy, keď platí väčšina z tohto:

• Vyhradený tréningový klaster, 16 a viac uzlov, ktorý trvalo beží na synchrónnych gradientových AllReduce. Výhoda v latencii pri malých kolektívoch sa naprieč tisíckami iterácií sčíta.
• Aj tak kupujete systémy NVIDIA HGX alebo DGX. Tieto dosky sú navrhnuté okolo NDR/XDR. Prevádzkovo je nepohodlné miešať do DGX uzla Ethernet.
• Máte interných odborníkov, ktorí poznajú subnet manager, vedia prečítať výstup ibtracert a sú zvyknutí na správu cez NVIDIA UFM.
• Rozpočet unesie 2 – 3× prirážku na port za prepínače bez toho, aby sa ekonomika klastra rozsypala.
• Klaster je jediným zmyslom celej budovy. Pri čistom HPC/AI nasadení bez zdieľaných úložných nájomníkov a bez aplikačnej prevádzky InfiniBand zjednodušuje prevádzkový model, lebo sa netreba dohadovať o QoS.

Ak Vašu zostavu vystihujú tri z týchto piatich bodov, InfiniBand si svoju cenovku zaslúži. Ak len jeden, platíte za sieť optimalizovanú na cudzí problém.

Kedy je RoCEv2 pragmatická voľba

RoCE je správnou odpoveďou pre najširšiu časť zákazníkov Kentino:

• 4 až 16 uzlov, zmiešaný workload, tréning, inferencia aj úložisko na tej istej sieti.
• Šetríte, ale RDMA potrebujete. Klaster robí dosť viacuzlového tréningu či distribuovanej inferencie na to, aby bola réžia jadra pri obyčajnom TCP neprijateľná — no prirážka za InfiniBand prepínač tiež.
• Zdieľaná sieť s inou než AI prevádzkou. Prevádzka, úložisko aj prístup vývojárov idú po tej istej ethernetovej infraštruktúre. RoCE s tým koexistuje; InfiniBand potrebuje vlastnú fyzickú vrstvu.
• Chcete voľnosť pri výbere dodávateľov. Skombinovať prepínače Broadcom, karty NVIDIA a uzly AMD MI300. Ethernetový ekosystém to dovoľuje, InfiniBandový nie.
• Tím už má hĺbkové skúsenosti s Ethernetom. Ladenie PFC/ECN je skutočná práca, ale je to práca na podklade, ktorý už všetci poznajú. Ten SM máte v hlave — je to riadiaca rovina L2/L3, ktorú prevádzkujete roky.

Pasca, na ktorú treba upozorniť: zle nakonfigurovaný RoCEv2 je horší než obyčajné TCP. Búrky PFC pauz naprieč nesegmentovanou sieťou dokážu zhodiť manažmentovú rovinu. Zle nastavené prahy ECN vytvoria sieť, ktorá v perfteste vyzerá zdravo, no pri reálnom AllReduce incaste sa zrúti. Podľa N08 je to presne to varovanie, že „ručné rozkladanie PFC konfigurácie na bežnom whiteboxe je samostatný projekt“. Kupujte od dodávateľa s overenými RoCE šablónami (NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 s profilom služby pre AI siete), alebo si najmite niekoho, kto to už robil.

Kedy stačí obyčajný TCP/IP Ethernet

Obyčajný Ethernet — bez RDMA, bez PFC, bez ladenia DCQCN, len sockety a stack v jadre — je správnou odpoveďou častejšie, než si ľudia pripúšťajú:

• Jednouzlový server so 4 alebo 8 GPU. Prevádzka medzi GPU zostáva na PCIe alebo NVLinku vnútri šasi. Jedinou úlohou siete je dopraviť tréningové dáta dnu, váhy modelu von a telemetriu dookola. 25 GbE alebo jedna 100 GbE linka bohato stačí.
• Inferenčné klastre s ľahkou koordináciou medzi uzlami. Latenciu na požiadavku určuje výpočet na GPU; 10 µs siete je šum.
• Zmiešané laboratórium, robotický pracovný stôl, vývojové prostredie. Klaster nebeží na trvalom synchrónnom tréningu. RDMA je zbytočný luxus.
• Robotické edge-AI zostavy opísané v I01 — robot sa rozpráva s jedným inferenčným serverom, rozpočet latencie je v stovkách milisekúnd a sieť je neviditeľná.

Úprimná odpoveď pre väčšinu zákazníkov Kentino: ak kupujete jediný K-AI 256 Turin Dual s 8× RTX 5090, nepotrebujete InfiniBand a nepotrebujete ani RoCE. Dvojica 100 GbE liniek do štandardného prepínača v dátovom centre, zapnuté jumbo rámce a predvolené nastavenie jadra — to je správna odpoveď a stojí o päťciferné číslo menej než alternatíva.

Úprimný pohľad Kentino

Predávame zákazníkom, ktorí stavajú klastre s 1 až 8 uzlami na spotrebiteľských a workstation GPU (5090, 4090, RTX Pro 6000 Blackwell). Nie hyperscale trh, nie HPC trh. Pre túto kategóriu platí:

• Jednouzlová zostava s 8 GPU: obyčajný 25/100 GbE. Hotovo. Žiadne RDMA, žiadna daň za sieť. Zaujímavá priepustnosť je vnútri šasi na PCIe Gen5; vonkajšia linka slúži na vstup dát a manažment.
• Klaster s 2 až 4 uzlami a občasným distribuovaným tréningom: RoCEv2 na 100 GbE so šablónou AI prepínača podporovanou dodávateľom. Spectrum-X, ak chcete cestu overenú NVIDIA; Tomahawk 5 / Arista, ak chcete viacdodávateľskú cestu. Počítajte s dvoma týždňami na poriadne sprevádzkovanie PFC/ECN a validáciu cez nccl-tests.
• Klaster so 4 až 8 uzlami a trvalým tréningom: RoCEv2 na 200 alebo 400 GbE s úplne oddelenou manažmentovou rovinou. Toto je sladký bod nákladovej krivky na port; rozdiel oproti IB v tomto rozsahu nestačí na ospravedlnenie prirážky za prepínač, pokiaľ nie je workload nezvyčajne citlivý na latenciu.
• Nad 8 uzlov a trvalý tréning náročný na AllReduce: InfiniBand si začína zaslúžiť zváženie. Nie automaticky — zmerajte to. V tejto veľkosti však prevádzková jednoduchosť „sieť je bezstratová, SM rieši smerovanie, NCCL jednoducho funguje“ stojí reálne peniaze.
• Čokoľvek skutočne v mierke DGX: to nie sme my. Kúpte HGX a prijmite InfiniBand ako súčasť balíka.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch a systémoch, ktoré ich prepájajú. Opravy uvítame na info@kentino.com.