Nastavenie RDMA v praxi + návrh uplinkov klastra

Predchádzajúce články v sérii N obhajovali RDMA (N02) a prechádzali voľbou topológie (N04, N05). Tento je praktický: nainštalujete ovládače, overíte, že cesta funguje, zapnete GPUDirect, zvalidujete NCCL a potom vystúpite o úroveň vyššie a zamyslíte sa nad tým, ako sa celý klaster pripája k okolitému svetu.

Predpokladáme Ubuntu 22.04 alebo 24.04, sieťové karty Mellanox/NVIDIA ConnectX-5 alebo ConnectX-6 a buď InfiniBand HDR/NDR, alebo RoCEv2 nad bezstratovým ethernetovým fabricom. Príkazy sú presne tie, ktoré reálne píšeme na testovacích staniciach Kentino predtým, než expedujeme 4-uzlový klaster Kentino AI.

Ovládače: MLNX_OFED alebo upstream rdma-core?

Cesta Čo získate Kedy ju zvoliť
MLNX_OFED (dnes NVIDIA DOCA-OFED) Balík ovládačov otestovaný NVIDIOU, GPUDirect peermem, perftest, mlxconfig Produkčné AI klastre s ConnectX-6/7 a GPUDirect
Upstream rdma-core + jadrový mlx5 To, čo prináša Ubuntu, bez extra repozitára Laboratórne stroje, jeden uzol, bez GPUDirect, bez firmvérových nástrojov

Pre čokoľvek, čo v produkcii nesie prevádzku NCCL, nainštalujte MLNX_OFED. Upstream mlx5 funguje, ale prídete o mlxconfig, o priložený perftest a — čo je najdôležitejšie — o jadrový nvidia-peermem testovaný proti rovnakému stromu OFED.

Čistá inštalácia na Ubuntu 22.04 s jadrom 5.15.x:

tar xf MLNX_OFED_LINUX-*.tgz && cd MLNX_OFED_LINUX-*
sudo ./mlnxofedinstall --add-kernel-support --with-nvmf --force
sudo /etc/init.d/openibd restart && sudo systemctl enable openibd

Prepínač --add-kernel-support je dôležitý. Ak ho vynecháte na jadre mimo matice OFED, zostavenie DKMS zlyhá potichu — a Vy beháte na stock ovládači mlx5 bez toho, aby ste o tom vedeli. Stav user-space vrstvy overte cez dpkg -l | grep -E 'libibverbs|rdma-core|mlnx-ofed'.

Nahoďte linku a overte, že karta vidí fabric

Všetko podstatné Vám povedia tri príkazy:

sudo mst start && mst status   # firmvérové nástroje
ibstat                          # stav portu, šírka, rýchlosť
ibv_devinfo -v                  # GID, max_qp, MTU, revízia HW

Zdravý port ukazuje State: Active, Physical state: LinkUp, očakávanú hodnotu Rate: (napr. 200) a správnu Link layer: (InfiniBand alebo Ethernet). Dve polia, ktoré ľudia prehliadajú:

  • Link layer: InfiniBand verzus Ethernet. Dvojrežimový ConnectX prepnete príkazom mlxconfig -d /dev/mst/mt4125_pciconf0 set LINK_TYPE_P1=2 (1=IB, 2=Ethernet). Vyžaduje reštart.
  • Rate: zodpovedá očakávanej rýchlosti. Port 200 Gb/s NDR, ktorý nabehol na 100 Gb/s, je najčastejšia tichá porucha: zlý kábel, nesprávna dĺžka DAC alebo port switchu natvrdo nastavený nižšie. Skontrolujte to pred benchmarkovaním.

Pri RoCE navyše overte, že je zvolená v2 (v1 je ethertype 0x8915, v2 beží na UDP/4791 a používa ju každý moderný stack): sudo cma_roce_mode -d mlx5_0 -p 1 -m 2.

Subnet manager (iba InfiniBand)

InfiniBand nie je Ethernet — na fabricu sa nič nesmeruje, kým subnet manager (SM) nepridelí LID. Na laboratórnom fabricu stačí sudo apt install opensm && sudo systemctl enable --now opensm na jednom uzle. V produkcii používajte vstavaný SM na switchi. Dva softvérové SM, ktoré si navzájom konkurujú, znamenajú poobedie zbytočného ladenia. RoCE žiadny SM nemá — smerovanie je úlohou ethernetového fabricu, a preto je konfigurácia RoCE hlavne o QoS na switchi, nie o hostiteľovi.

Dokážte, že RDMA naozaj funguje: perftest

Pred akýmkoľvek behom NCCL či frameworku overte samotný drôt nástrojom perftest. Dva uzly, najprv server:

# server (uzol A)         # klient (uzol B)
ib_send_bw -d mlx5_0 -F --report_gbits -D 10
ib_send_bw -d mlx5_0 -F --report_gbits -D 10 10.10.1.1

Očakávané čísla na čistom fabricu:

Linka ib_send_bw (veľké správy) ib_send_lat (2 bajty)
100 Gb/s EDR / 100 GbE RoCE 95–98 Gb/s 1.0–1.5 µs
200 Gb/s HDR / 200 GbE RoCE 188–197 Gb/s 0.9–1.3 µs
400 Gb/s NDR 370–395 Gb/s 0.8–1.1 µs

Ak ste o 20% pod týmito číslami, nezačínajte ladiť NCCL. Chyba je vo fabricu. Kontrolujte v tomto poradí: (1) MTU, (2) PFC pri RoCE, (3) dvojicu kábel/transceiver, (4) generáciu PCIe a počet liniek pre sieťovú kartu, (5) umiestnenie v rámci NUMA. Latencia pod jednu mikrosekundu je v rámci racku pri NDR dosiahnuteľná; čokoľvek nad 5 µs na RoCE fabricu s jedným switchom je pokazené.

GPUDirect RDMA: zapnutie priamej DMA cesty

Celý zmysel RDMA v AI klastri je v tom, že sieťová karta číta a zapisuje priamo do pamäte GPU a obchádza hostiteľa. To vyžaduje nvidia-peermem (alebo, na novších jadrách, DMA-BUF — NVIDIA dnes odporúča DMA-BUF tam, kde ho jadro podporuje, ale väčšina produkčných stackov stále dodáva peermem).

sudo modprobe nvidia-peermem
lsmod | grep nvidia_peermem
echo nvidia-peermem | sudo tee /etc/modules-load.d/nvidia-peermem.conf

Ak sa modul nenačíta, jadro nebolo zostavené proti API pre RDMA peer memory s podporou OFED. Záleží na poradí inštalácie: najprv OFED, potom ovládač NVIDIA a až potom nvidia-peermem — peermem sa pri inštalácii zostavuje proti hlavičkám OFED.

Celú cestu overte zápisom RDMA z GPU na GPU:

# server                                # klient
ib_write_bw -d mlx5_0 --use_cuda=0 -F --report_gbits -D 10
ib_write_bw -d mlx5_0 --use_cuda=0 -F --report_gbits -D 10 10.10.1.1

--use_cuda=0 zaregistruje pamäť CUDA na GPU 0 ako buffer pre RDMA. Ak je výsledok v rámci niekoľkých percent rovnaký ako pri pamäti hostiteľa, GPUDirect funguje. Ak je 5× pomalší, prevádzka sa prelieva cez pamäť hostiteľa — zvyčajne ide o problém s načítaním peermem alebo o topológiu PCIe, kde sieťová karta a GPU sedia na opačných NUMA uzloch.

MTU a PFC pre RoCE (tu sa rozhoduje o osude RoCE klastrov)

RoCEv2 nad bezstratovým ethernetovým fabricom potrebuje tri veci, ktoré musia fungovať spoločne:

  1. Veľké MTU po celej trase. Nastavte 9000 na každej sieťovej karte, porte switchu aj smerovacom skoku. RoCE si vyberie najväčšie MTU v štýle IB, ktoré sa zmestí do ethernetového MTU — 9000 na Ethernete dá RoCE MTU 4096 bajtov, a presne to chcete.
  2. PFC na RDMA priorite. Pauza na linkovej vrstve, ktorá bráni zahadzovaniu paketov v určenej triede prevádzky. Bežná prax: RDMA na priorite 3, všetko ostatné na priorite 0.
  3. Značkovanie ECN na switchoch a sieťových kartách. ECN je dlhodobý signál o zahltení, PFC je krátkodobá núdzová brzda. Väčšinu práce odvedie ECN; PFC sa spustí len vtedy, keď ECN prestane stíhať.

Na strane hostiteľa, pomocou mlnx_qos:

sudo mlnx_qos -i enp1s0f0 --pfc 0,0,0,1,0,0,0,0   # PFC na priorite 3
sudo mlnx_qos -i enp1s0f0 --trust dscp
echo 106 | sudo tee /sys/class/infiniband/mlx5_0/tc/1/traffic_class

Hodnota DSCP (26) a priorita PFC (3) sa musia zhodovať na každom skoku. Fabric na switchoch to musí zrkadliť: PFC zapnuté na priorite 3, značkovanie ECN na týchto frontách, bezstratová konfigurácia bufferov a headroom na port dimenzovaný podľa BDP najdlhšej linky.

Kúpa switchu od výrobcu s zdokumentovanými šablónami pre RoCE (NVIDIA Spectrum, Arista, Cisco Nexus 9000) Vám ušetrí týždeň. Ručné nastavovanie PFC na generickom whiteboxe s Broadcomom je možné, ale je to projekt. Robili sme to. Neodporúčame to.

DCQCN (Data Center Quantized Congestion Notification) je regulačná slučka, ktorá spája PFC a ECN: ECN označí pakety, keď sa front plní, prijímateľ pošle späť CNP, odosielateľ spomalí a potom znova zrýchli, keď sa front vyprázdni. PFC je záchranná brzda, keď DCQCN nestihne zareagovať. Na modernom firmvéri ConnectX-6/7 je zapnuté štandardne a pri 4–16 uzloch sú predvolené hodnoty v poriadku. Hra s ladením (alpha, cieľová rýchlosť, bajtové a časové prahy) je pre tých, ktorí jazdia v mierkach, kde 0.5% na allreduce stojí za dva týždne práce.

NCCL: premenné, na ktorých záleží

NCCL je vrstva, ktorá využíva RDMA pre PyTorch, JAX, DeepSpeed, tensor-parallel vo vLLM a podobné nástroje. Detekciu zvláda sama a väčšinou správne. V každom produkčnom spúšťacom skripte sa objavujú štyri premenné prostredia:

Premenná Čo robí Kedy ju nastaviť
NCCL_IB_DISABLE 1 vynúti TCP sokety namiesto IB/RoCE Len pri ladení
NCCL_SOCKET_IFNAME Rozhranie pre bootstrap NCCL (nie pre dátovú cestu) Vždy — nasmerujte ho na manažment kartu, aby bootstrap nevbehol na RDMA fabric
NCCL_IB_HCA Ktoré HCA používa NCCL pre dátovú rovinu Uzly s viacerými kartami — explicitné je lepšie než automatické
NCCL_NET_GDR_LEVEL Ako agresívne využívať GPUDirect RDMA podľa topológie PCIe PIX/PHB, keď GPU a sieťové karty zdieľajú switch PCIe alebo NUMA uzol

Funkčné spustenie na klastri so 4 uzlami a 4 GPU na uzol:

export NCCL_SOCKET_IFNAME=eno1            # manažment sieť 1 GbE
export NCCL_IB_HCA=mlx5_0,mlx5_1          # obe RDMA karty
export NCCL_IB_GID_INDEX=3                # GID pre RoCE v2
export NCCL_NET_GDR_LEVEL=PHB
export NCCL_DEBUG=INFO                    # jednorazovo, potom znížiť na WARN

mpirun -np 16 -N 4 --hostfile hosts -x NCCL_SOCKET_IFNAME \
    -x NCCL_IB_HCA -x NCCL_IB_GID_INDEX -x NCCL_NET_GDR_LEVEL \
    -x NCCL_DEBUG ./build/all_reduce_perf -b 8 -e 8G -f 2 -g 1

Výstup NCCL_DEBUG=INFO je pri prvom behu povinné čítanie. Povie Vám, aký transport NCCL zvolil (Channel ... via NET/IB/0 GDR) pre každý rank a každý kanál. Ak kdekoľvek uvidíte via NET/Socket, RDMA cesta sa nepoužíva — netestovali ste to, čo si myslíte, že ste testovali.

Validácia pomocou nccl-tests

nccl-tests validuje celý stack — ovládač, OFED, peermem, NCCL, sieť — od začiatku do konca. Číslo, na ktorom záleží, je zbernicová priepustnosť (busbw), nie algoritmická priepustnosť (algbw). Zbernicová priepustnosť je normalizovaná na veľkosť ringu či stromu a je to presne to, čo porovnávate s linkovou rýchlosťou sieťovej karty.

Veľkosť klastra Očakávané busbw pri allreduce (veľké správy)
1 uzol, 4 GPU cez NVLink 200–400 GB/s
1 uzol, 8 GPU cez NVLink 250–500 GB/s
2 uzly, po 4 GPU, 200 GbE RDMA 20–24 GB/s
4 uzly, po 4 GPU, 200 GbE RDMA + GDR 20–22 GB/s

Allreduce medzi uzlami je zhora obmedzené zhruba na linkovú rýchlosť karty / 2 (allreduce každý bajt raz odošle a raz prijme na každý rank). 200 Gb/s ≈ strop 25 GB/s; nameraných 22 GB/s je zdravý výsledok. Ak číslo pri prechode z 1 na 2 uzly spadne 5×, RDMA sa pre medziuzlový skok nepoužíva. Prečítajte si výstup NCCL_DEBUG=INFO.

A teraz z nadhľadu: návrh uplinku klastra

Všetko vyššie sa týka dátovej roviny — fabricu, cez ktorý sa GPU rozprávajú medzi sebou. Druhou polovicou použiteľného klastra je uplink: spôsob, akým sa tento fabric pripája k okolitému svetu. Ľudia stavajú nesprávny uplink neustále.

4-uzlový tréningový klaster Kentino AI má tri vzťahy navonok:

  1. Firemná sieť / WAN — registre modelov, úložisko datasetov (S3, NFS, MinIO), Git, registre kontajnerov, telemetria.
  2. Vývojárske workstationy — inžinieri sa pripájajú cez SSH, spúšťajú úlohy, kopírujú von checkpointy, pracujú v Jupyteri.
  3. Ďalšie klastre — druhý tréningový klaster, inferenčný klaster, CI/eval klaster.

Výpočet priepustnosti

Ak 4 uzly robia allreduce rýchlosťou ~22 GB/s každý, interný fabric prenesie zhruba 700 Gb/s agregovanej prevádzky východ–západ. Uplink sa tomu nemusí vyrovnať. Musí sa vyrovnať rýchlosti príjmu dát:

  • 4 uzly × 4 GPU × ~1 GB/s na GPU (obrazový/video model) = 16 GB/s ≈ 128 Gb/s trvalého čítania z objektového úložiska.
  • Predtrénovanie LLM na tokenizovanom texte je oveľa menej náročné — 1–4 Gb/s, pretože tokeny sú husté a jedna dávka vydrží dlho.
  • Doladenie modelu, ktoré často nahráva checkpointy, vyskočí na pár sekúnd na 40 Gb/s a potom spadne takmer na nulu.
Workload Trvalý príjem dát Špička Uplink
Predtrénovanie LLM (tokenizovaný text) 1–4 Gb/s 20 Gb/s 25 GbE
Tréning obrazového / video modelu 50–150 Gb/s 200 Gb/s 2× 100 GbE LAG alebo 1× 200 GbE
Doladenie / RLHF s premiešavaním checkpointov 5–20 Gb/s 50 Gb/s 25–100 GbE
Inferenčný klaster za load balancerom 5–50 Gb/s závisí od modelu 25–100 GbE

Častá chyba: minúť €40k na uplink 400 GbE len preto, že interný fabric má 400 GbE. Zlý cieľ. Správnym cieľom je rýchlosť čítania datasetu. Postavili sme 4-uzlové klastre s uplinkom 25 GbE, ktoré bežali naplno celé týždne na tokenových dátach pre LLM.

Agregovaná verzus pridelená priepustnosť

Uzol so štyrmi kartami 100 GbE má agregovane 400 Gb/s linkovej kapacity. Táto kapacita sa prideľuje po tokoch, nezlučuje sa do jedného fondu. Jedno TCP spojenie medzi dvoma IP adresami využije jednu kartu — teda nanajvýš 100 Gb/s. ECMP a hashovanie po tokoch rozloží rôzne toky medzi štyri karty.

  • Allreduce je mnoho paralelných tokov — jeden na kanál a na partnera. NCCL sa natívne rozloží medzi viacero kariet (NCCL_IB_HCA uvádza obe). 4× 100 GbE je pre NCCL funkčne blízko 400 Gb/s.
  • Jeden dátový prúd (jeden HTTP GET sťahujúci shard s veľkosťou 1 TB) je jeden tok. 4× 100 GbE mu dá 100 Gb/s, nie 400. Na využitie agregátu musí dataloader otvoriť paralelné prúdy — čo DALI, WebDataset aj Streaming od MosaicML robia už z princípu.

Oddelenie fabricov

Dátová rovina
  • 100/200/400 GbE RoCE alebo HDR/NDR InfiniBand
  • NCCL, čítanie datasetov, zápis checkpointov
  • Bezstratová, PFC/ECN, vyhradené switche
  • Sterilná — žiadna iná než AI prevádzka
Riadiaca rovina
  • 1 GbE alebo 10 GbE
  • SSH, Prometheus, NTP, syslog, IPMI/BMC
  • Lacné switche, štandardné L2/L3, žiadne špeciálne QoS
  • Funguje vždy, aj keď je dátový fabric mimo

Vždy prevádzkujte dva fabricy. Riadiaca rovina nesmie byť pri svojej funkcii závislá od dátovej — prístup cez SSH potrebujete práve vtedy, keď je RDMA fabric pokazený.

Riadiaca rovina nie je voliteľná. Keď sa dátový fabric pokazí — zlý transceiver, chybná konfigurácia PFC, pád switchu — potrebujete cestu cez SSH, ktorá nie je od pokazeného fabricu závislá. Ladiť búrku na RoCE cez linku, ktorá búrku spôsobuje, je chyba, akú urobíte presne raz. Patria sem aj IPMI/BMC a NTP; posun hodín je neviditeľný dovtedy, kým Váš distribuovaný framework nezačne počítať nesprávne gradienty.

BGP unnumbered pre smerovaný Clos

Nad zhruba 8 uzlami sa L2 leaf-spine stáva bolestivým — limity spanning tree, škálovanie MAC tabuliek, broadcastové búrky, žiadny natívny multi-path. Moderná odpoveď je smerovaný Clos na L3: každá linka leaf-spine je unnumbered, BGP nesie cesty a ECMP rozkladá toky medzi spine prvky.

BGP unnumbered nadväzuje peering cez link-local IPv6 adresy, ktoré si jadro priradí samo, takže sa úplne vyhnete evidencii /31 na každú linku. Leaf s FRRouting na Linuxe vyzerá zhruba takto:

router bgp 65001
 neighbor swp1 interface remote-as external
 neighbor swp2 interface remote-as external
 address-family ipv4 unicast
  network 10.1.1.0/24
  redistribute connected

Každý leaf a každý spine je vlastný AS, eBGP inzeruje loopbacky a ECMP medzi spine prvkami je zadarmo. Vzor dokumentuje RFC 7938; Cumulus/NVIDIA, Arista, Cisco aj Juniper dnes unnumbered BGP podporujú. Pri 4 uzloch postačí jeden switch. Pri 8–16 uzloch s dvoma spine prvkami sa smerovaný Clos začína vyplácať. Nad 16 uzlov je jedinou rozumnou odpoveďou.

Prepojenie s ďalšími klastrami

Nedávajte tréningový a inferenčný klaster na rovnaký RDMA fabric. Tréning je obrovské nárazové allreduce, inferencia ustálený tok malých správ; požiadavky na QoS sa rozchádzajú a nevyspytateľný tréningový beh vyhladuje inferenčnú cestu. Správnou odpoveďou sú dva samostatné fabricy, ktoré sa stretávajú na L3 smerovači s bežným IP smerovaním. Riadiaca prevádzka medzi klastrami — fronty úloh, prenos logov, prenos artefaktov — ide po riadiacej rovine alebo po vyhradenej ethernetovej linke medzi klastrami. Súbor s váhami modelu 70B má ~140 GB, checkpoint je 2× toľko. Pri 25 GbE to trvá ~90 sekúnd, pri 100 GbE ~22 sekúnd. Počítajte s tou vyššou hodnotou.

Čo robiť ďalej

Rozumný postup pri rozbiehaní RDMA na čerstvom klastri:

  1. Najprv zapojte káble a skontrolujte linkovú vrstvu. Spustite ibstat na každom uzle. Rovnaká rýchlosť, rovnaké MTU, rovnaká linková vrstva. Fyzickú vrstvu dajte do poriadku skôr, než sa dotknete softvéru.
  2. Nainštalujte MLNX_OFED, nielen rdma-core, ak je v hre GPUDirect alebo NCCL. Zostavenie OFED zosúlaďte s bežiacim jadrom.
  3. Spustite perftest medzi každou dvojicou uzlov skôr, než sa dotknete frameworkov. Čísla do 5% od teoretických = zdravé. Čokoľvek nižšie = zastavte a opravte.
  4. Načítajte nvidia-peermem a overte ho cez ib_write_bw --use_cuda=0. Výsledok by mal zodpovedať variantu s pamäťou hostiteľa.
  5. Nakonfigurujte PFC, ECN a DCQCN, ak ste na RoCE. Na IB tento krok neexistuje; to je polovica dôvodu, prečo si ľudia volia IB.
  6. Spustite allreduce z nccl-tests na 2 uzloch, potom na 4 a potom na 8. Pri prvom behu každej veľkosti klastra si pozrite výstup NCCL_DEBUG=INFO. Overte, že sa objaví NET/IB ... GDR.
  7. Oddeľte fabricy. Manažment na lacnom 1/10 GbE. Dáta na RDMA fabricu. Nezdieľajte ich.
  8. Uplink dimenzujte podľa rýchlosti príjmu datasetu, nie podľa rýchlosti interného fabricu. Väčšina klastrov potrebuje oveľa menej externej priepustnosti, než má k dispozícii.
  9. Nad 8 uzlov plánujte smerovaný Clos s BGP unnumbered. Pod 8 uzlov postačí jeden switch.

Nadväzujúce články v sérii N sa venujú rozboru latencie (N06) a zložitosti smerovania (N07) — tam sa rieši ladenie DCQCN a patológie hashovania ECMP. Séria K nadväzuje distribuovaným tréningom (K02), inferenčnými klastrami (K03) a úložiskami (K04) — všetky predpokladajú, že RDMA stack z tejto stránky už funguje.


Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch a systémoch, ktoré ich prepájajú. Opravy vítame na info@kentino.com.