Ethernet pro AI: základy 25/100/400 GbE

Ethernet je výchozí propojovací vrstvou pro jakýkoli AI cluster stavěný mimo hyperscalery. Na papíře není vždy nejrychlejší volbou — N02 vysvětlí, kde skutečně vítězí InfiniBand — ale je to volba, která existuje všude, pod kterou běží každý sousední nástroj, stojí nejméně za gigabit a k ničemu Vás nezavazuje.

Pro clustery kategorie Kentino — jednouzlové inferenční servery, tréninkové rigy o 2 až 8 uzlech, malé výzkumné laboratoře — je Ethernet prakticky vždy správnou odpovědí. Zajímavé otázky zní: která rychlostní třída, která síťová karta, měď nebo optika a kolik každý krok nahoru doopravdy stojí. Tento článek na ně poctivě odpovídá s cenami z poloviny roku 2026.

Pokud nasazujete jedinou 4GPU nebo 8GPU skříň pro inferenci a nic dalšího, můžete přeskočit rovnou k cenové tabulce na konci a skončit. Zbytek článku je pro ty, kdo plánují více uzlů.

Proč Ethernet ve výchozím nastavení vítězí

Tři důvody, seřazené podle toho, jak často o výběru skutečně rozhodnou:

1. Ekosystém. Ethernetem mluví každý server, switch, úložiště i orchestrátor. Ovladače jsou součástí jádra. Monitorovací nástroje s ním počítají. První den nového kolegy nezačíná větou „pojďme si vysvětlit InfiniBand“.
2. Cena za gigabit. Port switche se 100 GbE stojí zhruba čtvrtinu ceny srovnatelného HDR InfiniBandu. DAC kabely a transceivery jsou běžným zbožím. Síťové karty dodává více výrobců — NVIDIA, Broadcom, Intel — což drží ceny při zemi. InfiniBand má jediného dodavatele.
3. Žádný vendor lock-in na úrovni fabric. Ethernet je přenosová vrstva. Moderní switche zvládnou TCP, RoCE, NVMe-oF i provoz správní roviny po stejném drátu s rozumným QoS. InfiniBand váže celou fabric na roadmapu NVIDIE.

Daní za to je, že Ethernet pro AI potřebuje více ladění, aby dosáhl stejného chování na plné rychlosti linky, jaké InfiniBand nabízí rovnou z krabice. RoCEv2, PFC, ECN, DCQCN — na Ethernetu vše konfigurovatelné, na IB vše přednastavené. N02 a N08 se tomuto souboji věnují.

Rychlostní třídy a kdy která dává smysl

Největší jednotlivá chyba v nabídkách kategorie Kentino je předimenzovaná linka. Switch se 400 GbE pod 8GPU inferenční skříní jsou vyhozené peníze. Linka 10 GbE mezi dvěma tréninkovými uzly je vyhozený GPU čas. Rozhoduje mapa níže.

Tři věci, které je dobré si zapamatovat:

• 25 GbE není pro AI fabric. Je pro všechno kolem ní — správu, telemetrii, linku k úložnému serveru, pokud úložiště není na téže RDMA fabric. Označovat 25 GbE za „AI třídu“ prozrazuje, že dodavatel daný workload nezná.
• 100 GbE je poctivý základ pro více uzlů. Pod ní se synchronizace gradientů zadrhává v každé iteraci. Nad ní je otázkou, jestli Vaše GPU dokážou vyrábět data dost rychle, aby linku zasytila. Pro jednouzlové systémy 5090 / RTX Pro 6000 Blackwell dělající práci typu fine-tuning obvykle 100 GbE stačí.
• 400 GbE se vyplatí jen při reálném tréninku přes více racků. Dva 8GPU uzly dělající fine-tuning modelu 70B ji nepotřebují. Šestnáct uzlů trénujících od nuly na tokenizovaném textu ano.

800 GbE existuje, křemík se už dodává (ConnectX-8, Thor Ultra), ale zatím jde o příběh hyperscalerů a nasazení třídy B200. Uvádíme pro úplnost; na buildu Kentino ji v roce 2026 pravděpodobně specifikovat nebudete.

Rodiny síťových karet, které se skutečně dodávají

Trhu síťových karet v roce 2026 dominuje řada ConnectX od NVIDIE, zbytek pokrývají Broadcom a Intel. Marvell, AMD/Pensando a hrstka přeznačených Broadcomů od OEM výrobců sice existují, ale na kusovnících Kentino se objevují zřídka.

Poctivé volby pro práci kategorie Kentino:

• Intel E810-CQDA2 když zákazník chce 100 GbE levně a smíří se s tím, že ladění RoCE dá víc práce než na Mellanoxu. Zhruba €700–€900 v tržní ceně.
• ConnectX-6 Dx pro jakoukoli 100GbE linku, která musí spolehlivě provozovat RoCE. Příplatek €1100–€1500. Odpověď v 90 % případů.
• ConnectX-7 když je platforma PCIe Gen 5 a 200 nebo 400 GbE ospravedlňuje reálný víceuzlový trénink. Jednoportová karta OSFP NDR400 stojí kolem €1650 v tržní ceně a mezi IB a Ethernetem přepíná ve firmwaru — užitečné, pokud byste chtěli později migrovat na jinou fabric.
• BlueField-3 a ConnectX-8 existují; pokud je specifikujete, tento článek nečtete.

Tichým stropem je PCIe. Síťová karta se 100 GbE ve slotu Gen 3 x8 sice linku naváže, ale poběží na poloviční rychlost. Pravidlo zní:

Na 8GPU platformách Kentino s procesory EPYC spolykají GPU většinu slotů Gen 4/5 x16; síťová karta pak v některých konfiguracích skončí v Gen 4 x8. Pro jeden port 100 GbE je to v pořádku, pro dva hraniční. Ověřte to před vystavením nabídky. W02 (linky PCIe & topologie) je hlubší verzí tohoto příběhu.

Měděné a optické varianty — DAC, AOC, optika

Tři způsoby, jak linku fyzicky realizovat, lišící se cenou o řád. Kupující utrácejí skutečné peníze za optiku tam, kde by posloužil DAC.

Pravidla, která platí napříč dodavateli:

• DAC uvnitř jednoho racku. Pasivní měď na 100GBASE-CR4 je spolehlivá do 3 m, se specifikací do 5 m u aktivních variant. Na 400G (100G PAM4 na linku) je praktickou hranicí 2 m pasivně — třímetrové DAC kabely existují, ale integrita signálu začíná být při ohybech křehká.
• AOC pro trasy 5–30 m, zejména přes sousední racky. Transceiver je napevno spojen s vláknem, takže jeden vadný konec znamená vyhodit celý kabel.
• SR optika + MMF pro trasy v místnosti delší než 30 m nebo tam, kde už strukturovaná kabeláž existuje. OM5 nabízí při 100 GbE SR zhruba o 50 % větší dosah než OM4 a je to to, co byste dnes měli tahat u nových instalací.
• LR optika + SMF pro přechody mezi budovami nebo místnostmi. Uvnitř jediného clusteru o čtyřech racích je to přestřelená volba.

Výpočet délky kabelů pro cluster o čtyřech racích. Řada čtyř 42U racků, každý ~600 mm široký s mezerou ~100 mm mezi racky. Od switche nahoře v racku 1 k síťové kartě dole v racku 4: ~2,1 m vodorovně + ~2 m svisle = trasa ~4 m včetně rezervy. Na 100 GbE jste na hraně DAC, na 400 GbE už za ní. U jakéhokoli clusteru širšího než ~2 racky při 400 GbE počítejte s AOC nebo optikou. Tohle je nejčastější chyba ve specifikacích víceraskových nabídek — předpoklad, že DAC dosáhne, protože „racky stojí hned vedle sebe“.

Kompletní linka 100 GbE, 2m přeskok uvnitř racku, polovina roku 2026: pár ConnectX-6 Dx ~€2400 + dva amortizované porty switche ~€1500 + 2m QSFP28 DAC ~€90 = ~€4000 za linku. Táž linka na 400 GbE (pár ConnectX-7, porty switche 400 GbE, 2m QSFP-DD DAC) vyjde zhruba na €14k — 4× propustnost za ~3,5× cenu. Ekonomika je rozumná; otázkou je, jestli to workload potřebuje.

Přehled switchů

Trh AI ethernetových switchů se v roce 2026 dělí do tří zjevných skupin.

Dva vyhraněné závěry:

• Pro tréninkové clustery o 4 až 8 uzlech na 100 nebo 400 GbE je správnou odpovědí jediný Spectrum-X SN5600 nebo Arista 7060X4. Jeden switch, jedna doména selhání, žádný Clos, RoCE šablony od výrobce. SN5600 nabízí 64×800 GbE ve 2U s agregovanou kapacitou 51.2 Tb/s a hlubokými buffery laděnými pro AI; 7060X4 dá 32×400 GbE v 1U při ~700 ns cut-through latenci a znatelně levněji, pokud 800 GbE nepotřebujete.
• Pro 16 a více uzlů plánujte routovaný L3 Clos se dvěma spine prvky, BGP unnumbered mezi leaf a spine a ECMP přes spine vrstvu. N08 popisuje mechaniku uplinků; N04 se věnuje volbě topologie.

MTU a jumbo rámce

Výchozí ethernetové MTU je 1500 bajtů. Na 100 GbE to znamená ~8,3 milionu paketů za sekundu na jeden tok, kde každý paket platí režii jádra. MTU 9000 sníží počet paketů 6×, odpovídajícím způsobem sníží zátěž CPU a pro jakoukoli AI fabric je v podstatě povinné.

Konkrétně u RoCEv2 se MTU ve stylu IB vybírá jako největší velikost, která se vejde do ethernetového MTU. Ethernet s 9000 bajty dá RoCE MTU 4096 bajtů — hodnotu, kterou očekává každý NCCL i RDMA stack. Zůstanete-li na 1500, dostanete RoCE MTU 2048 bajtů a citelnou ztrátu výkonu u každé kolektivní operace.

Tři věci, které je třeba vědět:

• Musí souhlasit po celé trase. Jediné zařízení s MTU 1500 v cestě tiše fragmentuje a sráží propustnost. Nastavte je na každé síťové kartě, každém portu switche i každém skoku routeru na AI VLAN.
• Jumbo držte uvnitř AI VLAN. Vaše firemní síť MTU 9000 čistě neustojí. Správní rovina zůstává na 1500.
• Ověřte to pomocí ip link a tracepath, nespoléhejte na konfiguraci. Počet clusterů, kde někdo nastavil 9000 na síťových kartách a zapomněl na porty switche, je trapný.

Ztrátový vs. bezztrátový Ethernet — náhled

Prostý TCP/IP přes Ethernet je ztrátový: switche zahazují pakety, když se fronty zaplní, TCP přenos opakuje a propustnost klesá. Pro streamovaný webový provoz je to v pořádku, pro RDMA fatální — jediná ztráta paketu v RoCE allreduce zabije celý přenos a donutí NCCL vypršet časovým limitem.

Řešením je bezztrátový Ethernet, dosažený dvěma mechanismy, které pracují společně:

• PFC (Priority Flow Control, 802.1Qbb) — pozastavení podle priority. Když se buffer switche pro prioritu 3 (konvencí priorita pro RDMA) zaplní, odešle pause rámec na nadřazený port. Krátkodobá záchranná brzda.
• ECN (Explicit Congestion Notification) — switche označují pakety ve frontách, které se plní, příjemce odešle zpět CNP a odesílatel zpomalí. Dlouhodobé řízení zahlcení.

Společně tvoří DCQCN — Data Center Quantized Congestion Notification — což je standardní řídicí smyčka RoCEv2 na moderních ethernetových AI fabric. Většinu času odvede práci ECN, PFC zasáhne jen tehdy, když ECN nestíhá reagovat.

Závěr pro tento článek: provozujete-li RoCE, musí Váš switch podporovat PFC a ECN na RDMA prioritě a Vaše síťová karta musí být nastavena tak, aby je značila a respektovala. Nákup switche od dodavatele s dokumentovanými RoCE šablonami (NVIDIA Spectrum, Arista, Cisco Nexus 9000) ušetří týden konfigurační práce. N02 se věnuje srovnání s InfiniBandem; N07 jde do hloubky na straně řízení zahlcení.

Hloubka bufferu — mělký vs. hluboký

Druhou osou u AI switchů je hloubka bufferu. AllReduce je v každé iteraci operací mnoho-k-jednomu — každý uzel v kruhu či stromu se ve stejném okamžiku sbíhá na jeden uzel. To je incast a switche s mělkými buffery drtí.

• Switche s mělkými buffery (starší Tomahawk, běžná podniková zařízení) mají celkem 4–32 MB bufferu. Levné, s nízkou latencí, pro provoz východ-západ ve firemní síti v pořádku. Při prvním nárazu incastu začnou zahazovat pakety.
• AI switche s hlubokými buffery (Jericho3-AI, Spectrum-X, některé linkové karty 7800R3) mají stovky MB až několik GB bufferu. Pohltí nárazový incast a podrží pakety, než DCQCN zpomalí odesílatele.

U dvouuzlového clusteru je hloubka bufferu nepodstatná. U osmi a více uzlů s hustým allreduce dělají hluboké buffery rozdíl mezi zdravou fabric a takovou, která zahazuje PFC pauzy a zadrhává se. To je skutečný důvod kupovat switche třídy AI místo generických.

Poctivě — týká se to vůbec Vašeho buildu?

Jednouzlový server Kentino K-AI dělající inferenci nebo fine-tuning na jednom uzlu nic z tohoto nepotřebuje. GPU spolu mluví přes PCIe a NVLink; ethernetová linka slouží pro vstup promptů, výstup tokenů a čtení datasetu. Dvojice portů 25 GbE SFP28 na integrované síťové kartě hostitele bohatě stačí.

Tohle čtete proto, že plánujete dva nebo více uzlů. Matice:

• 1 uzel: 10 nebo 25 GbE integrovaně. Žádný upgrade.
• 2–4 uzly, fine-tuning: 100 GbE přes ConnectX-6 Dx, jeden switch, nakonfigurované RoCE. ~€4k za linku.
• 4–8 uzlů, trénink 70B+: 100 nebo 200 GbE s ConnectX-7, je-li k dispozici PCIe Gen 5. Jediný switch Spectrum-X SN5600 nebo Arista 7060X4.
• 8–16 uzlů, hustý trénink: 200 nebo 400 GbE, routovaný L3 Clos se dvěma spine prvky, switche s hlubokými buffery.
• 16+ uzlů: za hranicí obvyklého portfolia Kentino. Použijte referenční architekturu NVIDIA (Spectrum-X, BlueField-3 nebo ConnectX-8) a konzultanta.

---

Toto je součást Kentino Wiki, referenční série o AI výpočtech, robotice a systémech, které je propojují. Komentáře a opravy uvítáme na info@kentino.com.