Prepínané klastrové topológie: Fat-Tree, Leaf-Spine, Dragonfly+, Tesseract

Každý diagram klastra v prezentácii dodávateľa sa začína rovnako: rad štvorčekov s popisom „uzol“, rad štvorčekov s popisom „switch“ a šípky medzi nimi. Diagramy sú zámerne jednoduché, pretože skutočné rozhodnutie, ktoré sa pod nimi skrýva — ktorá topológia, s akou mierou oversubscription, s akou rýchlosťou na port — je po samotných GPU najväčším nákladovým rozhodnutím v AI klastri.

Tento článok je topologickou vrstvou medzi N02 (ktorý protokol — InfiniBand, RoCE, obyčajný Ethernet) a N06–N08 (ako sa kábel v skutočnosti správa, keď je topológia raz zapojená). Pokrýva štyri rodiny, na ktorých v roku 2026 záleží: fat-tree / Clos / leaf-spine, dragonfly / dragonfly+, tesseract / hyperkocka a rodina torus, ktorá prežila v dvoch konkrétnych kútoch HPC. Končí úprimným záverom: zhruba deväť z desiatich zákazníkov Kentino nič z toho nepotrebuje a tento článok existuje pre toho desiateho.

Pre koho je určený: pre ľudí, ktorí dimenzujú tréningový klaster s 8 až 64 uzlami a sieť okolo neho. Nie je to konfiguračná kuchárka Cisco/NVIDIA — je to myšlienkový model, vďaka ktorému sa taká kuchárka dá vôbec čítať.

Tri rôzne veci, ktorým ľudia hovoria „šírka pásma“

Skôr než začneme kresliť štvorčeky a šípky, slovník. Tri pojmy sa v predajných materiáloch o klastroch používajú zameniteľne, pritom to nie je to isté číslo:

32-portový switch 400 GbE má 12.8 Tb/s agregovanej šírky pásma. Pripojte naň 16 uzlov, každý na 400 GbE, a máte 3.2 Tb/s bisekčnej šírky pásma (8 uzlov × 400 Gb/s na každej strane rezu). Pri kroku allreduce, v ktorom každá zo 16 GPU posiela polovicu svojho gradientu cez bisekciu, sa čas kroku delí práve týmito 3.2 Tb/s — nie 12.8.

Skratka: bisekčná šírka pásma je jediné z týchto troch čísel, ktoré predpovedá čas tréningového kroku pri workloade limitovanom operáciou allreduce. Keď brožúra dodávateľa uvádza agregovanú hodnotu, v duchu si predstavte najhorší možný rez a podľa toho ju vydeľte, aby ste sa dostali späť k bisekcii.

Pre 16-uzlový klaster s 8 GPU na uzol (spolu 128 GPU) a uzlami s jedinou sieťovou kartou 100 GbE:

Rovnaký počet uzlov, rovnaká rýchlosť liniek, a predsa iné čísla podľa toho, čo máte na mysli. S týmto rámcom pracuje zvyšok článku.

Fat-tree, Clos, leaf-spine — to isté v troch nárečiach

Charles Clos v roku 1953 dokázal, že viacstupňová sieť z malých crossbar switchov môže byť neblokujúca — ľubovoľný vstup sa dostane na ľubovoľný výstup bez kolízie — za zlomok ceny jedného obrovského crossbaru. Každá moderná sieť dátového centra je nejakým variantom tejto myšlienky. Názvoslovie sa medzitým poriadne zamotalo:

• Closova sieť je matematická štruktúra: vstupný, stredný a výstupný stupeň menších switchov.
• Fat-tree (Charles Leiserson, 1985) je variant Clos, v ktorom sú vetvy bližšie ku koreňu postupne hrubšie, takže bisekčná šírka pásma rastie spolu s N.
• Folded Clos prekladá výstupný stupeň späť na vstupný. Leaf-spine je dvojvrstvový folded Clos. Trojvrstvový folded Clos s vrstvami leaf, spine a super-spine je to, čomu väčšina ľudí v praxi hovorí fat-tree.

Dvojvrstvový leaf-spine: každý leaf je pripojený ku každému spine. Ľubovoľné dva uzly spolu komunikujú presne cez dva skoky. Plná bisekcia = žiadny oversubscription na vrstve spine.

Každý leaf je pripojený ku každému spine. Prevádzka any-to-any ide nanajvýš po trase leaf → spine → leaf, teda dva skoky. Pri dostatočnej šírke pásma na vrstve spine je sieť neblokujúca: každý uzol môže súčasne hovoriť s každým iným uzlom plnou rýchlosťou linky.

Pomer oversubscription je páčka, ktorá rozhoduje o cene. Ak má každý leaf 32 downlinkov po 100 GbE (3.2 Tb/s do racku) a 8 uplinkov po 100 GbE (800 Gb/s z racku), oversubscription je 4:1 — do racku štyrikrát väčšia šírka pásma než von z neho. Plná bisekcia znamená 1:1: toľko uplinku, koľko downlinku. 2:1 je bežný vo všeobecných dátových centrách. 1:1 (plná bisekcia) je základný štandard pre AI klastre.

Cena sa pri prechode zo 4:1 na 1:1 zhruba zdvojnásobí, pretože kupujete dvakrát toľko portov spine a dvakrát toľko optiky. Dôvod, prečo každý seriózny AI klaster tento príplatok zaplatí: oversubscription ničí priepustnosť allreduce. Synchronizovaný 8-tokový allreduce v sieti s oversubscription 4:1 nebeží na štvrtinovej rýchlosti — zrúti sa pod spätným tlakom PFC (N07) a v praxi môže stratiť 60–80 % teoretickej priepustnosti. Matematika hovorí „deľte štyrmi“. Realita hovorí „deľte piatimi až desiatimi“.

Referenčná architektúra NVIDIA DGX SuperPOD predpisuje trojvrstvový fat-tree s plnou bisekciou na Quantum-2 NDR InfiniBand pri 400 Gb/s na port. Zverejnené tréningové RoCE klastre spoločnosti Meta aj rad Azure ND od Microsoftu stavajú rovnaký tvar na Spectrum-X Ethernete. Odvetvie sa pre tréning AI zhodlo na fat-tree s plnou bisekciou a vývoj v rokoch 2024–2026 robí fat-tree širším (400 GbE → 800 GbE na port) alebo rail-optimized (ďalšia sekcia), základnú topológiu však nemení.

Rail-optimized fat-tree — dialekt špecifický pre AI

Štandardný fat-tree zaobchádza s každou sieťovou kartou rovnako. Pri tréningu AI však záleží na tom, ktorá sieťová karta ktorej GPU posiela dáta a ktorá časť gradientu to je, pretože vzory prevádzky pri allreduce nie sú rovnomerné. Variant rail-optimized priraďuje každú GPU v uzle ku konkrétnemu „railu“ — vyhradenej ceste leaf-spine — a zaručuje, že i-tá GPU na každom uzle komunikuje len s i-tou GPU na každom inom uzle cez i-ty rail.

Rail-optimized fat-tree: každý slot GPU je mapovaný na vyhradenú nezávislú rovinu spine. Kruh allreduce na GPU 3 používa len Rail 3.

Osem nezávislých dvojvrstvových sietí fat-tree, jedna na každý slot GPU. Kruh allreduce na GPU 3 naprieč 16 uzlami používa len Rail 3 a nikdy neprejde do iných railov. Prínosy: žiadne kolízie ECMP medzi railmi, jednoduchšie smerovanie, nižší radix switchov na jednu rovinu. Kompromis: úloha, ktorá presahuje sloty GPU (tensor-parallel vnútri uzla, data-parallel naprieč uzlami), sa aj tak rozdelí medzi raily cez NCCL, takže topológia pomôže len vtedy, keď sa workload trafí. Pri data-parallel a rail-aware NCCL je to jednoznačný zisk; pri tensor-parallel, ktorý presahuje viac railov, sa úspora vytratí.

Dragonfly a Dragonfly+ — keď si fat-tree nemôžete dovoliť

Cena fat-tree rastie zhruba ako N log N — každé zdvojnásobenie počtu uzlov si vyžiada viac šírky pásma na vrstve spine a tretia vrstva zdvojnásobí počet switchov na jeden koncový bod. Pre 1024 uzlov sa neblokujúci trojvrstvový fat-tree postaviť ešte dá. Pri 10,000 uzloch je počet switchov a cena optiky neúnosná. Dragonfly, ktorý v roku 2008 navrhli John Kim, William Dally a ďalší, vznikol práve preto, aby sa cez túto stenu dalo škálovať.

Myšlienka: uzly zoskupte do skupín. Vnútri skupiny sú všetky switche husto prepojené (často menším Closom). Medzi skupinami má každá skupina jednu priamu linku do každej inej skupiny. Výsledkom je sieť s priemerom 3 (skok v rámci skupiny, skok medzi skupinami, skok v rámci skupiny), ktorá sa škáluje na obrovské počty uzlov s oveľa menším počtom diaľkových káblov než fat-tree.

Dragonfly: hustý Clos v rámci skupiny, jedna globálna linka na dvojicu skupín. Priemer 3. Škáluje sa na 1000+ uzlov s menším počtom diaľkových káblov než fat-tree.

Veľkou úsporou je optická kabeláž. Diaľková optika medzi rackmi je najdrahšou časťou fat-tree. Dragonfly ju nahrádza jednou hrubou linkou na dvojicu skupín, nie jednou na každú kombináciu leaf-spine. Pre klaster s G skupinami po S uzloch potrebuje fat-tree zhruba G × S × log(G × S) káblov; dragonfly potrebuje G(G − 1)/2 medziskupinových káblov plus sieť v rámci každej skupiny. Pri G = 32 skupinách po 32 uzloch (spolu 1024) klesne počet diaľkových káblov zhruba o celý rád.

Dragonfly+ (Mellanox, 2017) túto myšlienku dolaďuje pre InfiniBand. Sieť v rámci skupiny sa mení na malý bipartitný Clos, takže rozšírenie skupiny nevyžaduje prekáblovanie, a medziskupinové linky používajú adaptívne smerovanie, aby obišli zahltené skupiny. Je to topológia systémov Frontier (ORNL, exascale AMD MI250X) a El Capitan (LLNL, MI300A) — oba sú zapojené cez switche HPE Slingshot-11 v usporiadaní dragonfly, s maximálnym priemerom tri skoky a 12.8 Tb/s na switch.

Háčik je v tom, aký je režim zlyhania pri malých úlohách, ktoré presahujú skupiny. Vo fat-tree vidia dva uzly na opačných koncoch klastra rovnakú bisekčnú šírku pásma ako dva uzly vzdialené o jeden rack (až na počet skokov). V dragonfly zdieľajú dva uzly v rôznych skupinách svoju medziskupinovú linku s každým ďalším tokom medzi skupinami. Ak vaša tréningová úloha so 16 GPU pristane na 8 uzloch v skupine A a 8 v skupine B, zdieľate jednu medziskupinovú linku so všetkými ostatnými, ktorí zhodou okolností presahujú tú istú dvojicu. Adaptívne smerovanie pomáha, kolízie však neodstráni.

Praktický dôsledok: dragonfly funguje nádherne pri rozmeroch úloh hyperscalerov (1000+ uzlov, úlohy dimenzované tak, aby zaplnili skupiny) a podstatne horšie pri stredných klastroch s rôznorodými malými úlohami. Pre 16-uzlový tréningový klaster je to nesprávna topológia — fat-tree je v tejto veľkosti lacnejší aj rýchlejší. Pre 1024-uzlový superpočítač so zmiešanými workloadmi je to naopak topológia správna.

Tesseract — 4D hyperkocka

Tesseract je 4D hyperkocka: 16 vrcholov, každý spojený presne so 4 susedmi, priemer 4 (najdlhšia najkratšia cesta medzi ľubovoľnými dvoma uzlami). Zovšeobecnite to na k dimenzií a dostanete k-kocku: 2^k uzlov, každý s k priamymi linkami, priemer k. Smerovanie podľa Hammingovej vzdialenosti — XOR zdrojovej a cieľovej adresy a preklápanie vždy jedného bitu — je triviálne deterministické a pri náhodnej prevádzke rovnomerne vyvážené.

Tesseract (4D hyperkocka): 16 uzlov, každý so 4 susedmi. Plné čiary = hrany 3D kocky; prerušované čiary = linky štvrtej dimenzie. Priemer 4. Každý popis uzla je 4-bitová adresa; susedia sa líšia presne v jednom bite.

Topológie hyperkocky dominovali masívne paralelným výpočtom v 80. rokoch. Stroj Connection Machine CM-2 (Thinking Machines, 1987) mal 65,536 uzlov zapojených ako 12-dimenzionálna hyperkocka. Intel iPSC/2 bežal na 7D hyperkockách. Stroj CM-5 (Thinking Machines, 1991) opustil hyperkocky v prospech fat-tree, pretože prístup s hyperkockou neškáloval elegantne nad zhruba 1024 uzlov — každá nová dimenzia zdvojnásobí počet uzlov a vyžiada si prekáblovanie každého existujúceho uzla.

V roku 2026 sa pojem „tesseract“ stále objavuje na troch miestach, ktoré sa oplatí rozlíšiť:

1. Ako názov výskumného systému / HPC systému DiRAC. DiRAC Tesseract na EPCC (Edinburgh) je 1476-uzlový klaster HPE SGI 8600 na Intel Omni-Path. „Tesseract“ je len marketingový názov; sieť má bližšie k fat-tree.
2. Ako výskumný pojem z oblasti „SDN control-plane“ (Tesseract: a 4D control plane, Yan a kol.). S fyzickou topológiou to nesúvisí.
3. Ako základná topológia kompaktných akcelerátorových klastrov bez switchov. 16-uzlový klaster zapojený doslova ako 4D hyperkocka má zaujímavé vlastnosti: každý uzol má presne 4 sieťové karty, žiadny centrálny switch, deterministické smerovanie, priemer 4. Poriadne to rozoberáme v článku N05 (topológie bez switchov).

Čo tesseract v roku 2026 ponúka: žiadnu daň za switche, deterministické smerovanie cez XOR Hammingovej vzdialenosti a nízky priemer (log₂(N)). Čo ho robí ťažkým: pevné N (musí byť mocninou dvoch), zložitosť kabeláže rastie s dimenziou, počet sieťových kariet na uzol sa rovná k a moderné AI kolektívy (NCCL ring/tree) štruktúru hyperkocky natívne nevyužívajú.

Torus — ten, čo prežil v dvoch konkrétnych kútoch

k-árna n-kocka zovšeobecňuje hyperkocku: namiesto binárnej adresy s jednou linkou na dimenziu použijete mriežku k × k × k s pretočením na okrajoch. V 3D toruse je každý uzol spojený so 6 susedmi (±x, ±y, ±z). 6D torus má 12 susedov.

IBM Blue Gene/L a /P bežali na 3D toruse a škálovali sa na stovky tisíc uzlov, pričom každý uzol mal len 6 vysokorýchlostných liniek. Fujitsu Tofu (prepojenie počítača K, 2011) to zovšeobecnil na 6D mesh/torus — 158,976 uzlov na Fugaku (v prevádzke aj v roku 2026), usporiadaných 24×23×24×2×3×2.

Cerebras Wafer-Scale Engine používa 2D torus priamo na waferi: každý výpočtový prvok má 4 susedov, pretočenie na okrajoch, ~1 ns na skok. Funguje to preto, že vodiče na waferi sú takmer zadarmo; káble mimo waferu by zadarmo neboli.

Prečo torus všade inde prehral: asymetrické cesty a zlé správanie pri nerovnomerných AI workloadoch. Moderné AI workloady (NCCL ring/tree, hierarchické algoritmy od NVIDIA) predpokladajú any-to-any s rovnomernou šírkou pásma. Torus to porušuje. V roku 2026 torus prežíva na troch miestach: v prepojení Cerebras na waferi, vo Fujitsu Fugaku a jeho nástupcoch a vnútri SXM uzlov cez NVSwitch. Mimo týchto ník je každý nový AI klaster v rokoch 2025–2026 typu Clos.

Porovnávacia tabuľka

Uplink klastra — ako sa topológia stretáva s vonkajším svetom

Prepínaná sieť je ostrov. Musí sa pripojiť k firemnej sieti (registre modelov, úložisko datasetov, S3, telemetria), k pracovným staniciam vývojárov (SSH, Jupyter, kopírovanie checkpointov von) aj k ďalším klastrom (odovzdanie tréning → inferencia). Týmto spojením je uplink klastra.

Dva modely s veľmi odlišnými dôsledkami:

Jeden uplinkový bod. Celú externú konektivitu ukončuje dvojica switchov spine (alebo vyhradený uplinkový router). Jednoducho sa firewalluje, ľahko sa obmedzuje rýchlosť, jednoducho sa monitoruje. Režim zlyhania: táto linka je jediným bodom zlyhania; jej zahltenie (veľké kopírovanie checkpointu von, stiahnutie 10 GB shardu datasetu) zasiahne všetky uzly naraz.

Distribuovaný uplink. Každý leaf má samostatný uplink do kampusovej siete, často pomalší 25 GbE popri 100GbE sieti. Sťahovanie datasetov a externá prevádzka zostávajú lokálne na leafe — žiadne zahltenie internej siete. Režim zlyhania: každý leaf je bezpečnostnou hranicou, firewallovanie je N-krát viac práce a monitorovanie je ťažšie.

Pre základný prípad Kentino (tréningový klaster so 4–16 uzlami) je správnou odpoveďou jeden uplinkový bod. Interná sieť je čisto RDMA (RoCE alebo InfiniBand), vyladená na nízku latenciu a bezstratové správanie. Uplink je obyčajný Ethernet, TCP, bežné QoS. Nedávajte objektové úložisko datasetov do tej istej bezstratovej siete ako allreduce na GPU — zle sa správajúci S3 klient nesmie byť schopný spustiť spätný tlak PFC na tréningovej prevádzke. Dve siete: dátová rovina (bezstratové RDMA) a správcovská/uplinková rovina (stratové TCP). N08 popisuje praktické nastavenie.

Úprimný pohľad Kentino

Väčšina zákazníkov Kentino kupuje 1 až 4 uzly. V takej veľkosti platí:

• 1 uzol. Žiadna otázka topológie. PCIe vnútri skrine (K07), jedna správcovská sieťová karta 25 GbE von a hotovo.
• 2 uzly. Priamy kábel medzi dvoma RDMA sieťovými kartami. Žiadny switch. Žiadna topológia na výber.
• 3–4 uzly. Jeden 32-portový switch 100 GbE zvládne každý s každým pri plnej bisekcii za $30k–50k vrátane všetkého. Stále žiadna topológia na výber.

Rozhovor o topológii sa začína pri 8 uzloch, keď začne byť počet portov jedného switchu tesný, a povinným sa stáva pri 16 uzloch. Pod touto hranicou znie správna odpoveď „jeden dobrý switch, plná bisekcia na každom porte a venujte sa ďalej svojej práci“. Nad ňou znie správna odpoveď „dvojvrstvový leaf-spine, 100 alebo 200 GbE na uzol, plná bisekcia (1:1) a nikdy nesiahajte na páčku oversubscription, ak vás k tomu niekto nedonúti“.

Dragonfly+ je správnou odpoveďou pri rozmeroch úloh hyperscalerov. Tesseract / hyperkocka je zaujímavá ako voľba bez switchov pre kompaktné klastre (N05). Torus je voľba zviazaná s jedným dodávateľom, určená pre prevádzkovateľov HPC s workloadmi, ktoré poznajú topológiu. Pre všetkých ostatných v cenovom pásme Kentino je fat-tree predvolenou voľbou. Plná bisekcia, ak si ju môžete dovoliť; 2:1, ak nie; pre tréning AI nikdy 4:1.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy uvítame na info@kentino.com.