Ethernet pre AI: základy 25/100/400 GbE

Ethernet je predvolenou prepojovacou sieťou každého AI klastra, ktorý vzniká mimo hyperscalera. Na papieri nie je vždy najrýchlejšou možnosťou — N02 ukáže, kde má InfiniBand naozaj navrch — Ethernet je však možnosť, ktorá existuje všade, rozbehne každý súvisiaci nástroj, stojí najmenej na gigabit a do ničoho Vás neuzamkne.

Pre klastre kentinovskej triedy — jednouzlové inferenčné servery, tréningové rigy s 2 až 8 uzlami, malé výskumné laboratóriá — je Ethernet prakticky vždy správnou odpoveďou. Zaujímavé otázky znejú: ktorá rýchlostná trieda, ktorá NIC karta, meď alebo optika a čo každý krok nahor skutočne stojí. Tento článok na ne odpovedá na rovinu, s cenami z polovice roka 2026.

Ak nasadzujete jediný 4-GPU alebo 8-GPU stroj na inferenciu a nič viac, môžete preletieť nákladovú tabuľku na konci a skončiť. Zvyšok článku je pre tých, ktorí plánujú viac uzlov.

Prečo Ethernet vyhráva predvolene

Tri dôvody, zoradené podľa toho, ako často o veci naozaj rozhodujú:

1. Ekosystém. Ethernetom hovorí každý server, switch, úložisko aj orchestrátor. Ovládače sú súčasťou jadra. Monitorovacie nástroje s ním počítajú. Prvý deň nového kolegu nezačína vetou „teraz Vám vysvetlím InfiniBand“.
2. Cena na gigabit. Port 100 GbE switcha stojí zhruba štvrtinu toho čo porovnateľný HDR InfiniBand. DAC káble a transceivery sú bežný tovar. NIC karty dodáva viacero výrobcov — NVIDIA, Broadcom, Intel — čo drží ceny pri zemi. InfiniBand má jediného dodávateľa.
3. Žiadne uzamknutie siete. Ethernet je len prenos. Moderné switche zvládnu TCP, RoCE, NVMe-oF aj manažmentovú prevádzku na jednom kábli s rozumným QoS. InfiniBand viaže celú sieť na roadmapu NVIDIA.

Daňou je, že Ethernet pre AI potrebuje viac ladenia, aby dosiahol rovnaké správanie na plnej rýchlosti linky, aké InfiniBand ponúka hneď po zapnutí. RoCEv2, PFC, ECN, DCQCN — na Ethernete sa to všetko konfiguruje, na IB je to prednastavené. N02 a N08 sa tomuto súboju venujú podrobne.

Rýchlostné triedy a kedy ktorá dáva zmysel

Najčastejšou chybou v ponukách kentinovskej triedy je predimenzovaná linka. Switch 400 GbE pod 8-GPU inferenčným strojom sú vyhodené peniaze. Linka 10 GbE medzi dvoma tréningovými uzlami je vyhodený čas GPU. Nasledujúca mapa je tá, na ktorej záleží.

Tri veci, ktoré si treba osvojiť:

• 25 GbE nie je pre AI sieť. Je pre všetko okolo nej — administratívu, telemetriu, linku na úložný server, keď úložisko nie je na tej istej RDMA sieti. Ak niekto nazýva 25 GbE „AI triedou“, prezrádza, že nepozná workload.
• 100 GbE je poctivý základ pre viac uzlov. Pod ním sa synchronizácia gradientov zasekáva v každej iterácii. Nad ním je otázkou, či Vaše GPU dokážu produkovať dáta dosť rýchlo na zaplnenie linky. Pre jednouzlové systémy s 5090 / RTX Pro 6000 Blackwell pri dolaďovaní modelov zvyčajne 100 GbE stačí.
• 400 GbE sa vráti len pri skutočnom tréningu naprieč rackmi. Dva 8-GPU uzly dolaďujúce model triedy 70B ho nepotrebujú. Šestnásť uzlov pri predtrénovaní na tokenizovanom texte áno.

800 GbE existuje, kremík sa dodáva (ConnectX-8, Thor Ultra), ale dnes je to príbeh hyperscalerov a nasadení triedy B200. Uvádzame ho pre úplnosť; na zostave Kentino ho v roku 2026 pravdepodobne špecifikovať nebudete.

Rodiny NIC kariet, ktoré sa naozaj dodávajú

Trhu s NIC kartami v roku 2026 dominuje rad ConnectX od NVIDIA, zvyšok pokrývajú Broadcom a Intel. Marvell, AMD/Pensando a hŕstka OEM prelepených Broadcomov existujú, ale na kusovníkoch Kentino sa objavujú zriedka.

Poctivé voľby pre prácu kentinovskej triedy:

• Intel E810-CQDA2 keď zákazník chce 100 GbE lacno a akceptuje, že ladenie RoCE dá viac práce než na Mellanoxe. Zhruba €700–€900 v bežnej cene.
• ConnectX-6 Dx pre každú 100 GbE linku, ktorá má spoľahlivo bežať na RoCE. Príplatok €1100–€1500. Odpoveď na 90 % prípadov.
• ConnectX-7 keď je platforma na PCIe Gen 5 a 200 alebo 400 GbE ospravedlňuje skutočný viacuzlový tréning. Jednoportová karta OSFP NDR400 stojí zhruba €1650 a medzi IB a Ethernetom prepína vo firmware — užitočné, ak by ste neskôr menili typ siete.
• BlueField-3 a ConnectX-8 existujú; ak ich špecifikujete, tento článok nečítate.

PCIe je tichý strop. Karta 100 GbE v slote Gen 3 x8 nalinkuje plnú rýchlosť a beží na polovicu. Pravidlo:

Na 8-GPU platformách Kentino s EPYC zožerú GPU väčšinu slotov Gen 4/5 x16; NIC karta končí v niektorých konfiguráciách v Gen 4 x8. Pre jeden port 100 GbE to stačí, pre dva je to na hrane. Overte si to pred ponukou. W02 (PCIe linky & topológia) je hlbšou verziou tohto príbehu.

Metalické a optické možnosti — DAC, AOC, optika

Tri spôsoby, ako linku fyzicky zrealizovať, oddelené rádom v cene. Kupujúci míňajú reálne peniaze na optiku tam, kde by stačil DAC.

Pravidlá, ktoré platia naprieč výrobcami:

• DAC v rámci jedného racku. Pasívna meď na 100GBASE-CR4 je spoľahlivá do 3 m, podľa špecifikácie do 5 m s aktívnymi variantmi. Pri 400G (100G PAM4 na linku) je praktickým limitom 2 m pasívne — 3 m DAC káble existujú, ale integrita signálu sa pri ohyboch kábla stáva krehkou.
• AOC pre trasy 5–30 m, najmä naprieč susednými rackmi. Transceiver je zlepený s optikou, takže zlý koniec znamená vyhodiť celý kábel.
• SR optika + MMF pre trasy v rámci miestnosti nad 30 m alebo tam, kde už existuje štruktúrovaná kabeláž. OM5 prinesie pri 100 GbE SR zhruba o 50 % väčší dosah než OM4 a je to to, čo by ste mali pre nové inštalácie ťahať dnes.
• LR optika + SMF na prekonanie budov alebo miestností. V rámci jedného klastra zo štyroch rackov je to zbytočný prepych.

Výpočet dĺžky kabeláže pre klaster so 4 rackmi. Rad štyroch 42U rackov, každý ~600 mm široký, s medzerou ~100 mm medzi rackmi. Zo switcha na vrchu racku 1 k NIC karte na spodku racku 4: ~2.1 m vodorovne + ~2 m zvisle = trasa ~4 m aj s rezervou. Pri 100 GbE ste na hrane DAC; pri 400 GbE už za ňou. Pre každý klaster širší než ~2 racky pri 400 GbE počítajte s AOC alebo optikou. Toto je najčastejšia chyba v ponukách naprieč rackmi — predpoklad, že DAC dosiahne, lebo „racky stoja hneď vedľa seba“.

Kompletná 100 GbE linka, 2 m preskok v rámci racku, polovica roka 2026: pár ConnectX-6 Dx ~€2400 + dva amortizované porty switcha ~€1500 + 2 m QSFP28 DAC ~€90 = ~€4000 na linku. Tá istá linka pri 400 GbE (pár ConnectX-7, porty switcha 400 GbE, 2 m QSFP-DD DAC) vyjde zhruba na €14k — 4× väčšia priepustnosť za ~3.5× vyššiu cenu. Ekonomika je rozumná; otázkou je, či to workload potrebuje.

Prehľad switchov

Trh s AI Ethernet switchmi sa v roku 2026 delí do troch zjavných skupín.

Dve vyhranené odporúčania:

• Pre tréningové klastre so 4 až 8 uzlami na 100 alebo 400 GbE je správnou odpoveďou jediný Spectrum-X SN5600 alebo Arista 7060X4. Jeden switch, jedna doména poruchy, žiadny Clos, RoCE šablóny od výrobcu. SN5600 má 64×800 GbE v 2U s agregátom 51.2 Tb/s a hlbokými buffermi ladenými pre AI; 7060X4 Vám dá 32×400 GbE v 1U s cut-through latenciou ~700 ns za citeľne menej peňazí, keď 800 GbE nepotrebujete.
• Pri 16+ uzloch plánujte smerovaný L3 Clos s dvoma spine prvkami, BGP unnumbered medzi leaf a spine a ECMP cez spine vrstvu. N08 sa venuje mechanike uplinkov; N04 rieši voľbu topológie.

MTU a jumbo rámce

Predvolené Ethernet MTU je 1500 bajtov. Pri 100 GbE je to ~8.3 milióna paketov za sekundu na jeden tok, pričom každý platí réžiu jadra na paket. MTU 9000 zníži počet paketov 6×, úmerne zníži zaťaženie CPU a pre akúkoľvek AI sieť je v podstate povinné.

Konkrétne pri RoCEv2 sa MTU v štýle IB vyberá ako najväčšia veľkosť, ktorá sa zmestí do Ethernet MTU. 9000-bajtový Ethernet dá RoCE 4096-bajtové MTU — hodnotu, ktorú očakáva každý NCCL a RDMA stack. Ak zostanete na 1500, dostanete 2048-bajtové RoCE MTU a citeľnú stratu výkonu pri každej kolektívnej operácii.

Tri veci, ktoré treba vedieť:

• Musí sedieť po celej trase. Jediné zariadenie s MTU 1500 v ceste ticho fragmentuje a zrazí priepustnosť. Nastavte ho na každej NIC karte, každom porte switcha a každom smerovači na AI VLAN.
• Jumbo nechajte len na AI VLAN. Vaša firemná sieť nebude MTU 9000 prevádzkovať čisto. Manažmentová rovina zostáva na 1500.
• Overujte cez ip link a tracepath, nie dôverou v konfiguráciu. Počet klastrov, kde niekto nastavil 9000 na NIC kartách a zabudol na porty switcha, je trápny.

Stratový vs. bezstratový Ethernet — náhľad

Obyčajné TCP/IP cez Ethernet je stratové: switche zahadzujú pakety, keď sa fronty naplnia, TCP ich posiela znova a priepustnosť klesá. V poriadku pre streamovanú webovú prevádzku, fatálne pre RDMA — jediný stratený paket v RoCE allreduce zabije celý prenos a prinúti NCCL vypršať časovým limitom.

Riešením je bezstratový Ethernet, dosiahnutý dvoma mechanizmami, ktoré pracujú spolu:

• PFC (Priority Flow Control, 802.1Qbb) — pozastavenie podľa priority. Keď sa buffer switcha pre prioritu 3 (konvenčne RDMA priorita) naplní, pošle pause rámec na nadradený port. Krátkodobá núdzová brzda.
• ECN (Explicit Congestion Notification) — switche označia pakety vo frontách, ktoré sa plnia, príjemca pošle späť CNP a odosielateľ spomalí. Dlhodobé riadenie zahltenia.

Spoločne tvoria DCQCN — Data Center Quantized Congestion Notification — štandardnú riadiacu slučku RoCEv2 na moderných AI Ethernet sieťach. Väčšinu času robí prácu ECN, PFC zasiahne len vtedy, keď ECN nestíha reagovať.

Záver pre tento článok: ak prevádzkujete RoCE, Váš switch musí podporovať PFC a ECN na RDMA priorite a Vaša NIC karta ich musí byť nakonfigurovaná označovať a rešpektovať. Kúpa switcha od výrobcu s dokumentovanými RoCE šablónami (NVIDIA Spectrum, Arista, Cisco Nexus 9000) ušetrí týždeň konfiguračnej práce. N02 porovnáva s InfiniBandom; N07 ide do hĺbky v riadení zahltenia.

Hĺbka bufferov — plytké vs. hlboké

Druhou osou pri AI switchoch je hĺbka bufferov. AllReduce je v každej iterácii many-to-one — každý uzol v kruhu alebo strome sa v rovnakom okamihu zbieha na jeden uzol. To je incast a switche s plytkými buffermi to zrazí na kolená.

• Switche s plytkými buffermi (staršie Tomahawk, bežné podnikové) majú celkovo 4–32 MB bufferov. Lacné, nízka latencia, v poriadku pre east-west prevádzku vo firemnej sieti. Pakety zahodia hneď pri prvom incaste.
• AI switche s hlbokými buffermi (Jericho3-AI, Spectrum-X, niektoré line cards 7800R3) majú stovky MB až niekoľko GB bufferov. Pohltia nápor incastu a podržia pakety, kým DCQCN pribrzdí odosielateľov.

Pri klastri z dvoch uzlov je hĺbka bufferov nepodstatná. Pri 8 a viac uzloch s hustým allreduce je to rozdiel medzi zdravou sieťou a takou, ktorá zahadzuje PFC pauzy a zastavuje sa. Toto je skutočný dôvod kupovať switche triedy AI namiesto generických.

Na rovinu — týka sa to Vašej zostavy?

Jednouzlový server Kentino K-AI, ktorý robí inferenciu alebo jednouzlové dolaďovanie, nič z tohto nepotrebuje. GPU spolu komunikujú cez PCIe a NVLink; ethernetová linka slúži na prichádzajúce prompty, odchádzajúce tokeny a čítanie datasetov. Dvojica portov 25 GbE SFP28 na integrovanej NIC karte hosta postačuje.

Čítate to preto, že plánujete dva alebo viac uzlov. Matica:

• 1 uzol: 10 alebo 25 GbE integrované. Žiadny upgrade.
• 2–4 uzly, dolaďovanie: 100 GbE cez ConnectX-6 Dx, jeden switch, nakonfigurované RoCE. ~€4k na linku.
• 4–8 uzlov, tréning 70B+: 100 alebo 200 GbE s ConnectX-7, ak je k dispozícii PCIe Gen 5. Jeden switch Spectrum-X SN5600 alebo Arista 7060X4.
• 8–16 uzlov, hustý tréning: 200 alebo 400 GbE, smerovaný L3 Clos s dvoma spine prvkami, switche s hlbokými buffermi.
• 16+ uzlov: za hranicou bežného portfólia Kentino. Použite referenčnú architektúru NVIDIA (Spectrum-X, BlueField-3 alebo ConnectX-8) a konzultanta.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich prepájajú. Komentáre a opravy uvítame na info@kentino.com.