Nastavenie RDMA v praxi + návrh uplinkov klastra
Predchádzajúce články v sérii N obhajovali RDMA (N02) a prechádzali voľbou topológie (N04, N05). Tento je praktický: nainštalujete ovládače, overíte, že cesta funguje, zapnete GPUDirect, zvalidujete NCCL a potom vystúpite o úroveň vyššie a zamyslíte sa nad tým, ako sa celý klaster pripája k okolitému svetu.
Predpokladáme Ubuntu 22.04 alebo 24.04, sieťové karty Mellanox/NVIDIA ConnectX-5 alebo ConnectX-6 a buď InfiniBand HDR/NDR, alebo RoCEv2 nad bezstratovým ethernetovým fabricom. Príkazy sú presne tie, ktoré reálne píšeme na testovacích staniciach Kentino predtým, než expedujeme 4-uzlový klaster Kentino AI.
Ovládače: MLNX_OFED alebo upstream rdma-core?
| Cesta | Čo získate | Kedy ju zvoliť |
|---|---|---|
| MLNX_OFED (dnes NVIDIA DOCA-OFED) | Balík ovládačov otestovaný NVIDIOU, GPUDirect peermem, perftest, mlxconfig | Produkčné AI klastre s ConnectX-6/7 a GPUDirect |
Upstream rdma-core + jadrový mlx5
|
To, čo prináša Ubuntu, bez extra repozitára | Laboratórne stroje, jeden uzol, bez GPUDirect, bez firmvérových nástrojov |
Pre čokoľvek, čo v produkcii nesie prevádzku NCCL, nainštalujte MLNX_OFED. Upstream mlx5 funguje, ale prídete o mlxconfig, o priložený perftest a — čo je najdôležitejšie — o jadrový nvidia-peermem testovaný proti rovnakému stromu OFED.
Čistá inštalácia na Ubuntu 22.04 s jadrom 5.15.x:
tar xf MLNX_OFED_LINUX-*.tgz && cd MLNX_OFED_LINUX-*
sudo ./mlnxofedinstall --add-kernel-support --with-nvmf --force
sudo /etc/init.d/openibd restart && sudo systemctl enable openibd
Prepínač --add-kernel-support je dôležitý. Ak ho vynecháte na jadre mimo matice OFED, zostavenie DKMS zlyhá potichu — a Vy beháte na stock ovládači mlx5 bez toho, aby ste o tom vedeli. Stav user-space vrstvy overte cez dpkg -l | grep -E 'libibverbs|rdma-core|mlnx-ofed'.
Nahoďte linku a overte, že karta vidí fabric
Všetko podstatné Vám povedia tri príkazy:
sudo mst start && mst status # firmvérové nástroje
ibstat # stav portu, šírka, rýchlosť
ibv_devinfo -v # GID, max_qp, MTU, revízia HW
Zdravý port ukazuje State: Active, Physical state: LinkUp, očakávanú hodnotu Rate: (napr. 200) a správnu Link layer: (InfiniBand alebo Ethernet). Dve polia, ktoré ľudia prehliadajú:
-
Link layer: InfiniBandverzusEthernet. Dvojrežimový ConnectX prepnete príkazommlxconfig -d /dev/mst/mt4125_pciconf0 set LINK_TYPE_P1=2(1=IB, 2=Ethernet). Vyžaduje reštart. -
Rate:zodpovedá očakávanej rýchlosti. Port 200 Gb/s NDR, ktorý nabehol na 100 Gb/s, je najčastejšia tichá porucha: zlý kábel, nesprávna dĺžka DAC alebo port switchu natvrdo nastavený nižšie. Skontrolujte to pred benchmarkovaním.
Pri RoCE navyše overte, že je zvolená v2 (v1 je ethertype 0x8915, v2 beží na UDP/4791 a používa ju každý moderný stack): sudo cma_roce_mode -d mlx5_0 -p 1 -m 2.
Subnet manager (iba InfiniBand)
InfiniBand nie je Ethernet — na fabricu sa nič nesmeruje, kým subnet manager (SM) nepridelí LID. Na laboratórnom fabricu stačí sudo apt install opensm && sudo systemctl enable --now opensm na jednom uzle. V produkcii používajte vstavaný SM na switchi. Dva softvérové SM, ktoré si navzájom konkurujú, znamenajú poobedie zbytočného ladenia. RoCE žiadny SM nemá — smerovanie je úlohou ethernetového fabricu, a preto je konfigurácia RoCE hlavne o QoS na switchi, nie o hostiteľovi.
Dokážte, že RDMA naozaj funguje: perftest
Pred akýmkoľvek behom NCCL či frameworku overte samotný drôt nástrojom perftest. Dva uzly, najprv server:
# server (uzol A) # klient (uzol B)
ib_send_bw -d mlx5_0 -F --report_gbits -D 10
ib_send_bw -d mlx5_0 -F --report_gbits -D 10 10.10.1.1
Očakávané čísla na čistom fabricu:
| Linka |
ib_send_bw (veľké správy) |
ib_send_lat (2 bajty) |
|---|---|---|
| 100 Gb/s EDR / 100 GbE RoCE | 95–98 Gb/s | 1.0–1.5 µs |
| 200 Gb/s HDR / 200 GbE RoCE | 188–197 Gb/s | 0.9–1.3 µs |
| 400 Gb/s NDR | 370–395 Gb/s | 0.8–1.1 µs |
Ak ste o 20% pod týmito číslami, nezačínajte ladiť NCCL. Chyba je vo fabricu. Kontrolujte v tomto poradí: (1) MTU, (2) PFC pri RoCE, (3) dvojicu kábel/transceiver, (4) generáciu PCIe a počet liniek pre sieťovú kartu, (5) umiestnenie v rámci NUMA. Latencia pod jednu mikrosekundu je v rámci racku pri NDR dosiahnuteľná; čokoľvek nad 5 µs na RoCE fabricu s jedným switchom je pokazené.
GPUDirect RDMA: zapnutie priamej DMA cesty
Celý zmysel RDMA v AI klastri je v tom, že sieťová karta číta a zapisuje priamo do pamäte GPU a obchádza hostiteľa. To vyžaduje nvidia-peermem (alebo, na novších jadrách, DMA-BUF — NVIDIA dnes odporúča DMA-BUF tam, kde ho jadro podporuje, ale väčšina produkčných stackov stále dodáva peermem).
sudo modprobe nvidia-peermem
lsmod | grep nvidia_peermem
echo nvidia-peermem | sudo tee /etc/modules-load.d/nvidia-peermem.conf
Ak sa modul nenačíta, jadro nebolo zostavené proti API pre RDMA peer memory s podporou OFED. Záleží na poradí inštalácie: najprv OFED, potom ovládač NVIDIA a až potom nvidia-peermem — peermem sa pri inštalácii zostavuje proti hlavičkám OFED.
Celú cestu overte zápisom RDMA z GPU na GPU:
# server # klient
ib_write_bw -d mlx5_0 --use_cuda=0 -F --report_gbits -D 10
ib_write_bw -d mlx5_0 --use_cuda=0 -F --report_gbits -D 10 10.10.1.1
--use_cuda=0 zaregistruje pamäť CUDA na GPU 0 ako buffer pre RDMA. Ak je výsledok v rámci niekoľkých percent rovnaký ako pri pamäti hostiteľa, GPUDirect funguje. Ak je 5× pomalší, prevádzka sa prelieva cez pamäť hostiteľa — zvyčajne ide o problém s načítaním peermem alebo o topológiu PCIe, kde sieťová karta a GPU sedia na opačných NUMA uzloch.
MTU a PFC pre RoCE (tu sa rozhoduje o osude RoCE klastrov)
RoCEv2 nad bezstratovým ethernetovým fabricom potrebuje tri veci, ktoré musia fungovať spoločne:
- Veľké MTU po celej trase. Nastavte 9000 na každej sieťovej karte, porte switchu aj smerovacom skoku. RoCE si vyberie najväčšie MTU v štýle IB, ktoré sa zmestí do ethernetového MTU — 9000 na Ethernete dá RoCE MTU 4096 bajtov, a presne to chcete.
- PFC na RDMA priorite. Pauza na linkovej vrstve, ktorá bráni zahadzovaniu paketov v určenej triede prevádzky. Bežná prax: RDMA na priorite 3, všetko ostatné na priorite 0.
- Značkovanie ECN na switchoch a sieťových kartách. ECN je dlhodobý signál o zahltení, PFC je krátkodobá núdzová brzda. Väčšinu práce odvedie ECN; PFC sa spustí len vtedy, keď ECN prestane stíhať.
Na strane hostiteľa, pomocou mlnx_qos:
sudo mlnx_qos -i enp1s0f0 --pfc 0,0,0,1,0,0,0,0 # PFC na priorite 3
sudo mlnx_qos -i enp1s0f0 --trust dscp
echo 106 | sudo tee /sys/class/infiniband/mlx5_0/tc/1/traffic_class
Hodnota DSCP (26) a priorita PFC (3) sa musia zhodovať na každom skoku. Fabric na switchoch to musí zrkadliť: PFC zapnuté na priorite 3, značkovanie ECN na týchto frontách, bezstratová konfigurácia bufferov a headroom na port dimenzovaný podľa BDP najdlhšej linky.
Kúpa switchu od výrobcu s zdokumentovanými šablónami pre RoCE (NVIDIA Spectrum, Arista, Cisco Nexus 9000) Vám ušetrí týždeň. Ručné nastavovanie PFC na generickom whiteboxe s Broadcomom je možné, ale je to projekt. Robili sme to. Neodporúčame to.
DCQCN (Data Center Quantized Congestion Notification) je regulačná slučka, ktorá spája PFC a ECN: ECN označí pakety, keď sa front plní, prijímateľ pošle späť CNP, odosielateľ spomalí a potom znova zrýchli, keď sa front vyprázdni. PFC je záchranná brzda, keď DCQCN nestihne zareagovať. Na modernom firmvéri ConnectX-6/7 je zapnuté štandardne a pri 4–16 uzloch sú predvolené hodnoty v poriadku. Hra s ladením (alpha, cieľová rýchlosť, bajtové a časové prahy) je pre tých, ktorí jazdia v mierkach, kde 0.5% na allreduce stojí za dva týždne práce.
NCCL: premenné, na ktorých záleží
NCCL je vrstva, ktorá využíva RDMA pre PyTorch, JAX, DeepSpeed, tensor-parallel vo vLLM a podobné nástroje. Detekciu zvláda sama a väčšinou správne. V každom produkčnom spúšťacom skripte sa objavujú štyri premenné prostredia:
| Premenná | Čo robí | Kedy ju nastaviť |
|---|---|---|
NCCL_IB_DISABLE |
1 vynúti TCP sokety namiesto IB/RoCE |
Len pri ladení |
NCCL_SOCKET_IFNAME |
Rozhranie pre bootstrap NCCL (nie pre dátovú cestu) | Vždy — nasmerujte ho na manažment kartu, aby bootstrap nevbehol na RDMA fabric |
NCCL_IB_HCA |
Ktoré HCA používa NCCL pre dátovú rovinu | Uzly s viacerými kartami — explicitné je lepšie než automatické |
NCCL_NET_GDR_LEVEL |
Ako agresívne využívať GPUDirect RDMA podľa topológie PCIe |
PIX/PHB, keď GPU a sieťové karty zdieľajú switch PCIe alebo NUMA uzol |
Funkčné spustenie na klastri so 4 uzlami a 4 GPU na uzol:
export NCCL_SOCKET_IFNAME=eno1 # manažment sieť 1 GbE
export NCCL_IB_HCA=mlx5_0,mlx5_1 # obe RDMA karty
export NCCL_IB_GID_INDEX=3 # GID pre RoCE v2
export NCCL_NET_GDR_LEVEL=PHB
export NCCL_DEBUG=INFO # jednorazovo, potom znížiť na WARN
mpirun -np 16 -N 4 --hostfile hosts -x NCCL_SOCKET_IFNAME \
-x NCCL_IB_HCA -x NCCL_IB_GID_INDEX -x NCCL_NET_GDR_LEVEL \
-x NCCL_DEBUG ./build/all_reduce_perf -b 8 -e 8G -f 2 -g 1
Výstup NCCL_DEBUG=INFO je pri prvom behu povinné čítanie. Povie Vám, aký transport NCCL zvolil (Channel ... via NET/IB/0 GDR) pre každý rank a každý kanál. Ak kdekoľvek uvidíte via NET/Socket, RDMA cesta sa nepoužíva — netestovali ste to, čo si myslíte, že ste testovali.
Validácia pomocou nccl-tests
nccl-tests validuje celý stack — ovládač, OFED, peermem, NCCL, sieť — od začiatku do konca. Číslo, na ktorom záleží, je zbernicová priepustnosť (busbw), nie algoritmická priepustnosť (algbw). Zbernicová priepustnosť je normalizovaná na veľkosť ringu či stromu a je to presne to, čo porovnávate s linkovou rýchlosťou sieťovej karty.
| Veľkosť klastra | Očakávané busbw pri allreduce (veľké správy) |
|---|---|
| 1 uzol, 4 GPU cez NVLink | 200–400 GB/s |
| 1 uzol, 8 GPU cez NVLink | 250–500 GB/s |
| 2 uzly, po 4 GPU, 200 GbE RDMA | 20–24 GB/s |
| 4 uzly, po 4 GPU, 200 GbE RDMA + GDR | 20–22 GB/s |
Allreduce medzi uzlami je zhora obmedzené zhruba na linkovú rýchlosť karty / 2 (allreduce každý bajt raz odošle a raz prijme na každý rank). 200 Gb/s ≈ strop 25 GB/s; nameraných 22 GB/s je zdravý výsledok. Ak číslo pri prechode z 1 na 2 uzly spadne 5×, RDMA sa pre medziuzlový skok nepoužíva. Prečítajte si výstup NCCL_DEBUG=INFO.
A teraz z nadhľadu: návrh uplinku klastra
Všetko vyššie sa týka dátovej roviny — fabricu, cez ktorý sa GPU rozprávajú medzi sebou. Druhou polovicou použiteľného klastra je uplink: spôsob, akým sa tento fabric pripája k okolitému svetu. Ľudia stavajú nesprávny uplink neustále.
4-uzlový tréningový klaster Kentino AI má tri vzťahy navonok:
- Firemná sieť / WAN — registre modelov, úložisko datasetov (S3, NFS, MinIO), Git, registre kontajnerov, telemetria.
- Vývojárske workstationy — inžinieri sa pripájajú cez SSH, spúšťajú úlohy, kopírujú von checkpointy, pracujú v Jupyteri.
- Ďalšie klastre — druhý tréningový klaster, inferenčný klaster, CI/eval klaster.
Výpočet priepustnosti
Ak 4 uzly robia allreduce rýchlosťou ~22 GB/s každý, interný fabric prenesie zhruba 700 Gb/s agregovanej prevádzky východ–západ. Uplink sa tomu nemusí vyrovnať. Musí sa vyrovnať rýchlosti príjmu dát:
- 4 uzly × 4 GPU × ~1 GB/s na GPU (obrazový/video model) = 16 GB/s ≈ 128 Gb/s trvalého čítania z objektového úložiska.
- Predtrénovanie LLM na tokenizovanom texte je oveľa menej náročné — 1–4 Gb/s, pretože tokeny sú husté a jedna dávka vydrží dlho.
- Doladenie modelu, ktoré často nahráva checkpointy, vyskočí na pár sekúnd na 40 Gb/s a potom spadne takmer na nulu.
| Workload | Trvalý príjem dát | Špička | Uplink |
|---|---|---|---|
| Predtrénovanie LLM (tokenizovaný text) | 1–4 Gb/s | 20 Gb/s | 25 GbE |
| Tréning obrazového / video modelu | 50–150 Gb/s | 200 Gb/s | 2× 100 GbE LAG alebo 1× 200 GbE |
| Doladenie / RLHF s premiešavaním checkpointov | 5–20 Gb/s | 50 Gb/s | 25–100 GbE |
| Inferenčný klaster za load balancerom | 5–50 Gb/s | závisí od modelu | 25–100 GbE |
Častá chyba: minúť €40k na uplink 400 GbE len preto, že interný fabric má 400 GbE. Zlý cieľ. Správnym cieľom je rýchlosť čítania datasetu. Postavili sme 4-uzlové klastre s uplinkom 25 GbE, ktoré bežali naplno celé týždne na tokenových dátach pre LLM.
Agregovaná verzus pridelená priepustnosť
Uzol so štyrmi kartami 100 GbE má agregovane 400 Gb/s linkovej kapacity. Táto kapacita sa prideľuje po tokoch, nezlučuje sa do jedného fondu. Jedno TCP spojenie medzi dvoma IP adresami využije jednu kartu — teda nanajvýš 100 Gb/s. ECMP a hashovanie po tokoch rozloží rôzne toky medzi štyri karty.
-
Allreduce je mnoho paralelných tokov — jeden na kanál a na partnera. NCCL sa natívne rozloží medzi viacero kariet (
NCCL_IB_HCAuvádza obe). 4× 100 GbE je pre NCCL funkčne blízko 400 Gb/s. - Jeden dátový prúd (jeden HTTP GET sťahujúci shard s veľkosťou 1 TB) je jeden tok. 4× 100 GbE mu dá 100 Gb/s, nie 400. Na využitie agregátu musí dataloader otvoriť paralelné prúdy — čo DALI, WebDataset aj Streaming od MosaicML robia už z princípu.
Oddelenie fabricov
- 100/200/400 GbE RoCE alebo HDR/NDR InfiniBand
- NCCL, čítanie datasetov, zápis checkpointov
- Bezstratová, PFC/ECN, vyhradené switche
- Sterilná — žiadna iná než AI prevádzka
- 1 GbE alebo 10 GbE
- SSH, Prometheus, NTP, syslog, IPMI/BMC
- Lacné switche, štandardné L2/L3, žiadne špeciálne QoS
- Funguje vždy, aj keď je dátový fabric mimo
Vždy prevádzkujte dva fabricy. Riadiaca rovina nesmie byť pri svojej funkcii závislá od dátovej — prístup cez SSH potrebujete práve vtedy, keď je RDMA fabric pokazený.
Riadiaca rovina nie je voliteľná. Keď sa dátový fabric pokazí — zlý transceiver, chybná konfigurácia PFC, pád switchu — potrebujete cestu cez SSH, ktorá nie je od pokazeného fabricu závislá. Ladiť búrku na RoCE cez linku, ktorá búrku spôsobuje, je chyba, akú urobíte presne raz. Patria sem aj IPMI/BMC a NTP; posun hodín je neviditeľný dovtedy, kým Váš distribuovaný framework nezačne počítať nesprávne gradienty.
BGP unnumbered pre smerovaný Clos
Nad zhruba 8 uzlami sa L2 leaf-spine stáva bolestivým — limity spanning tree, škálovanie MAC tabuliek, broadcastové búrky, žiadny natívny multi-path. Moderná odpoveď je smerovaný Clos na L3: každá linka leaf-spine je unnumbered, BGP nesie cesty a ECMP rozkladá toky medzi spine prvky.
BGP unnumbered nadväzuje peering cez link-local IPv6 adresy, ktoré si jadro priradí samo, takže sa úplne vyhnete evidencii /31 na každú linku. Leaf s FRRouting na Linuxe vyzerá zhruba takto:
router bgp 65001
neighbor swp1 interface remote-as external
neighbor swp2 interface remote-as external
address-family ipv4 unicast
network 10.1.1.0/24
redistribute connected
Každý leaf a každý spine je vlastný AS, eBGP inzeruje loopbacky a ECMP medzi spine prvkami je zadarmo. Vzor dokumentuje RFC 7938; Cumulus/NVIDIA, Arista, Cisco aj Juniper dnes unnumbered BGP podporujú. Pri 4 uzloch postačí jeden switch. Pri 8–16 uzloch s dvoma spine prvkami sa smerovaný Clos začína vyplácať. Nad 16 uzlov je jedinou rozumnou odpoveďou.
Prepojenie s ďalšími klastrami
Nedávajte tréningový a inferenčný klaster na rovnaký RDMA fabric. Tréning je obrovské nárazové allreduce, inferencia ustálený tok malých správ; požiadavky na QoS sa rozchádzajú a nevyspytateľný tréningový beh vyhladuje inferenčnú cestu. Správnou odpoveďou sú dva samostatné fabricy, ktoré sa stretávajú na L3 smerovači s bežným IP smerovaním. Riadiaca prevádzka medzi klastrami — fronty úloh, prenos logov, prenos artefaktov — ide po riadiacej rovine alebo po vyhradenej ethernetovej linke medzi klastrami. Súbor s váhami modelu 70B má ~140 GB, checkpoint je 2× toľko. Pri 25 GbE to trvá ~90 sekúnd, pri 100 GbE ~22 sekúnd. Počítajte s tou vyššou hodnotou.
Čo robiť ďalej
Rozumný postup pri rozbiehaní RDMA na čerstvom klastri:
-
Najprv zapojte káble a skontrolujte linkovú vrstvu. Spustite
ibstatna každom uzle. Rovnaká rýchlosť, rovnaké MTU, rovnaká linková vrstva. Fyzickú vrstvu dajte do poriadku skôr, než sa dotknete softvéru. -
Nainštalujte MLNX_OFED, nielen
rdma-core, ak je v hre GPUDirect alebo NCCL. Zostavenie OFED zosúlaďte s bežiacim jadrom. -
Spustite
perftestmedzi každou dvojicou uzlov skôr, než sa dotknete frameworkov. Čísla do 5% od teoretických = zdravé. Čokoľvek nižšie = zastavte a opravte. -
Načítajte
nvidia-peermema overte ho cezib_write_bw --use_cuda=0. Výsledok by mal zodpovedať variantu s pamäťou hostiteľa. - Nakonfigurujte PFC, ECN a DCQCN, ak ste na RoCE. Na IB tento krok neexistuje; to je polovica dôvodu, prečo si ľudia volia IB.
-
Spustite allreduce z
nccl-testsna 2 uzloch, potom na 4 a potom na 8. Pri prvom behu každej veľkosti klastra si pozrite výstupNCCL_DEBUG=INFO. Overte, že sa objavíNET/IB ... GDR. - Oddeľte fabricy. Manažment na lacnom 1/10 GbE. Dáta na RDMA fabricu. Nezdieľajte ich.
- Uplink dimenzujte podľa rýchlosti príjmu datasetu, nie podľa rýchlosti interného fabricu. Väčšina klastrov potrebuje oveľa menej externej priepustnosti, než má k dispozícii.
- Nad 8 uzlov plánujte smerovaný Clos s BGP unnumbered. Pod 8 uzlov postačí jeden switch.
Nadväzujúce články v sérii N sa venujú rozboru latencie (N06) a zložitosti smerovania (N07) — tam sa rieši ladenie DCQCN a patológie hashovania ECMP. Séria K nadväzuje distribuovaným tréningom (K02), inferenčnými klastrami (K03) a úložiskami (K04) — všetky predpokladajú, že RDMA stack z tejto stránky už funguje.
Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch a systémoch, ktoré ich prepájajú. Opravy vítame na info@kentino.com.