Jeden uzol s viac GPU vs. viac uzlov: kedy škálovať do šírky

Najdrahšia chyba vo fáze nákupu je rozdeliť rozpočet na GPU medzi dva uzly vtedy, keď by úlohu zvládol jeden väčší uzol. Druhá najdrahšia je zostať na jednom uzle vtedy, keď workload naozaj potrebuje fabric, a potom pol roka predstierať, že skriňa stíha.

Tento článok je rozhodovacou logikou pre toto delenie: kedy je jedna 8-GPU skriňa správnou odpoveďou, kedy nie je a ako zistiť, na ktorej strane hranice Váš workload leží. Sprievodné články pokrývajú mechaniku (K02 trénovanie, K03 inferencia, K07 limity PCIe, K06 riešenie porúch); tento je rozhodnutím kupujúceho.

Strop ôsmich GPU, podľa modelu

Prvá otázka znie, či sa model zmestí do jedného uzla. S 8× RTX Pro 6000 Blackwell (96 GB každá) získate 768 GB využiteľnej VRAM; s 8× RTX 5090 (32 GB každá) 256 GB. Ani jedno nie je na pomery roku 2026 málo, ani jedno nepojme všetko.

Model Váhy (FP8) Váhy (INT4) 8× 5090 (256 GB)? 8× Pro 6000 (768 GB)?
Llama 3.1 / 3.3 70B ~75 GB ~40 GB Áno, s rezervou Áno, s priestorom pre KV
Qwen 2.5 72B (vrátane VL) ~80 GB ~44 GB Áno Áno
Mixtral 8x22B (141B celkovo) ~140 GB ~75 GB Len INT4, tesne Áno
Llama 3.1 405B ~400 GB ~210 GB Nie INT4 áno, FP8 hraničné
DeepSeek-V3 (671B MoE, 37B akt.) ~670 GB ~340 GB Nie INT4 áno, FP8 hraničné
Hypotetický dense 600B+ 600+ GB 300+ GB Nie Hraničné alebo nie

Zlom je na hranici 405B / 671B. Pod ňou stačí jedna 8-GPU skriňa s Pro 6000. Na nej a nad ňou buď agresívne kvantizujete (váhy INT4 — pre inferenciu v poriadku, pre trénovanie úbohé), alebo prekračujete hranicu uzla.

„Zmestí sa“ nie je to isté ako „beží dobre“. Model, ktorý zaberie 95 % VRAM bez rezervy na KV cache, prefix cache, CUDA graphs či pamäť aktivácií, bude pri akejkoľvek reálnej záťaži prerušovať požiadavky. Praktické pravidlo: váhy na 60–70 % VRAM, zvyšných 30–40 % na všetko ostatné. S týmto obmedzením sa 405B vo FP8 nezmestí pohodlne na 8× Pro 6000 pre inferenciu pri žiadnej užitočnej miere súbežnosti — zmestia sa váhy, nie workload.

Kedy NEMÁTE škálovať do šírky

Prípady, keď je zotrvanie na jednom uzle jednoznačne správne:

  • Inferencia pre akýkoľvek model, ktorý sa zmestí. Ak sa model plus KV zmestí pri cieľovej súbežnosti, viacuzlové TP cez Ethernet alebo IB je vždy pomalšie než jeden uzol. PCIe Gen5 vnútri skrine dáva medzi GPU na rovnakom switchi ~50 GB/s; 200 Gbps IB medzi uzlami dáva ~25 GB/s. Workload, ktorý sa vlečie na PCIe, sa na IB plazí.
  • Produkčné nasadenie pre jedného nájomníka. Jeden model, jeden klient, mierna súbežnosť. 8-GPU Pro 6000 zvládne 70B s 32–64 súbežnými požiadavkami bez problémov. Druhá skriňa je užitočná len ako horúca záloha alebo na zdvojnásobenie priepustnosti cez DP — ani jedno nie je „škálovanie do šírky“ v zmysle tesne prepojeného systému.
  • Výskumné laboratóriá s modelmi 7B–72B. Väčšina akademickej aj aplikovanej práce v roku 2026 patrí sem — Llama 3.x 8B, Qwen 7B/14B/32B, Mistral, Gemma, chvost dolaďovaných 70B. Žiadny z nich nepotrebuje viac než jeden uzol.
  • Dolaďovanie LoRA / QLoRA. Zmyslom PEFT je, že nepotrebujete zdroje na trénovanie celého modelu. LoRA pre 70B sa zmestí na 4–8 GPU v jednom uzle; QLoRA pre 405B sa zmestí na 8× Pro 6000.
  • Dávková inferencia a offline workloady. Ak SLA znie „spracovať tento korpus do piatku“, zvládne to dávkovanie v režime priepustnosti na jednej 8-GPU skrini. Viac uzlov pomôže len vtedy, keď to inak nestihnete — a to býva preto, že model je príliš veľký, nie preto, že jeden uzol je pomalý.

Zhruba 80 % zákazníkov Kentino by si malo kúpiť jeden väčší uzol namiesto dvoch menších a väčšina zvyšných 20 % v skutočnosti chce DP repliky za load balancerom, nie klaster.

Kedy MUSÍTE škálovať do šírky

Prípadov, keď jeden uzol naozaj nestačí, je menej, než sa ľudia nazdávajú.

Trénovanie modelu 70B+ od nuly. Osem GPU nestačí z hľadiska reálneho času. Predtrénovanie 70B pri zverejnených rozpočtoch tokenov (1.5–15T) trvá stovky GPU-mesiacov na hardvéri triedy H100, na spotrebných PCIe GPU ešte viac. Táto práca potrebuje 32–128+ GPU a fabric SXM. Kentino túto triedu nestavia.

Plné dolaďovanie modelov 70B+. Nie LoRA — plné dolaďovanie so stavmi optimalizátora, gradientmi a aktiváciami v pamäti. Plné dolaďovanie 70B (váhy FP16 + Adam v FP32 + gradienty + aktivácie) znamená 1.2–1.5 TB stavu, čo presahuje jeden 8-GPU uzol aj s FSDP. Odôvodňuje klaster s 2–4 uzlami na IB.

Prevádzka 405B+ pri produkčnej latencii. Váhy sa v INT4 zmestia na 8× Pro 6000, no KV cache spolu so súbežnou obsluhou pri použiteľnej latencii Vás posunie na dva či viac uzlov. Dve 8-GPU skrine Pro 6000 v TP=8 × PP=2 alebo TP=4 × PP=4 sú realistickým minimom pre Llama 3.1 405B pri slušnom QPS. K03 to rozoberá podrobne.

Produkcia pre viacerých nájomníkov pri >100k QPS súhrnne. Jeden 8-GPU uzol obslúži súhrnne 500–2,000 tok/s pri 70B FP8. Za hranicou desaťtisícov QPS chcete viacero replík a ešte ďalej skutočný klaster so smerovačom a smerovaním zohľadňujúcim prefix cache. Správnou odpoveďou býva veľa DP replík, nie jeden obrovský TP klaster.

Mimo týchto štyroch prípadov argument rýchlo slabne. Väčšina „potrebujem viac uzlov“ sa ukáže ako „chcem väčšiu priepustnosť“ — otázka replík, nie fabricu.

Ideálny bod jedného uzla

Geometria silnej jednouzlovej zostavy na hardvéri, ktorý Kentino skutočne dodáva:

Komponent Voľba Prečo
GPU 8× RTX Pro 6000 Blackwell (96 GB) 768 GB VRAM pojme každý reálny otvorený model roku 2026
GPU (alternatíva) 8× RTX 5090 (32 GB) Lacnejšie, 256 GB celkovo, postačuje do triedy 72B
CPU EPYC 9554P alebo 9654 (jeden socket) 128 liniek PCIe Gen5, žiadne úzke hrdlo xGMI
Prepojenie PCIe Gen5 x16 (prepínaný fabric) ~50 GB/s medzi GPU, na týchto SKU nie je NVLink
RAM 768 GB–1 TB DDR5 Štedré pre dávkovače datasetov a odkladanie KV
Sieť 2× 100 GbE (voliteľne 400 GbE) Bohato stačí pre odchádzajúcu inferenciu a úložisko
Úložisko 4–8 U.2 NVMe + 2 M.2 na boot Lokálne NVMe pre datasety a odkladanie checkpointov

Kľúčové obmedzenie: tieto karty nemajú NVLink. RTX 5090, RTX Pro 6000 Blackwell, L40 a L4 sú pripojené cez PCIe. Moduly SXM s fabricom NVLink (H100 SXM, B200 SXM, GB200) vyžadujú základne HGX, ktoré nestaviame. K07 rozoberá cenu; N03 hovorí o tom, kedy na NVLinku záleží.

Cesta cez PCIe je správna pre prácu zameranú na inferenciu a pre väčšinu trénovania pod úrovňou špičky. Dávkovanie v režime priepustnosti rozloží náklady all-reduce pri inferencii. Pri dolaďovaní modelov s pevnou veľkosťou je strata reálneho času oproti SXM 1.2–1.4× — zvyčajne prijateľné. Pri tensor-paralelnom trénovaní 70B+ od nuly je strata 2–3× a odpoveď znie „kúpte SXM alebo túto prácu na hardvéri Kentino nerobte“.

Zlom medzi jedným a viacerými uzlami

To, čo robí z viacuzlového riešenia inú kategóriu systému, je zlom v prepojení medzi vnútrom uzla a medzi uzlami, a to v priepustnosti aj latencii.

Cesta Priepustnosť Latencia
GPU na GPU, rovnaký switch PEX (PCIe Gen5 x16) ~50 GB/s pod mikrosekundu
GPU na GPU, cez root complex medzi switchmi ~50 GB/s zdieľaných jednotky mikrosekúnd
400 Gbps InfiniBand NDR (medzi uzlami) ~50 GB/s 1–2 mikrosekundy
200 Gbps InfiniBand HDR (medzi uzlami) ~25 GB/s 1–2 mikrosekundy
100 GbE RoCE (medzi uzlami) ~12.5 GB/s 5–15 mikrosekúnd
25 GbE TCP (medzi uzlami) ~3 GB/s 20–50 mikrosekúnd

Vnútri skrine si dve GPU vymieňajú dáta rýchlosťou ~50 GB/s so skokmi pod mikrosekundu. Medzi uzlami získate ~25 GB/s na 200 Gbps IB — penalizácia 2× na IB, 4–5× na 100 GbE, 15× na 25 GbE. Pri kolektívnych operáciách TP, ktoré sa spúšťajú v každej vrstve transformera, to bolí veľmi. K07 obsahuje tabuľku časov all-reduce.

Latencia to ešte znásobuje: medzi uzlami je to 5–15 mikrosekúnd na vyladenom RoCE oproti nanosekundám vnútri skrine. Pri trénovaní a prefille sa to stratí v zaokrúhlení; pri interaktívnej inferencii s nízkou latenciou a tesným TP nie.

Práve pre tento zlom nie je „pridajme ďalšiu skriňu“ plynulým rozhodnutím. Čokoľvek, čo len tak-tak prežíva na PCIe vnútri jedného uzla, na Ethernete ani IB medzi uzlami neprežije.

Matematika silného škálovania: kde to padá

Amdahlov zákon: zrýchlenie je zhora obmedzené sériovou časťou workloadu a pri distribuovanom trénovaní je touto časťou réžia komunikácie. Pre trénovací krok triedy 70B na hardvéri PCIe triedy Kentino vyzerá efektivita škálovania (priepustnosť na GPU oproti základu s jednou GPU) naprieč zostavami, ktoré sme dodali, takto:

Konfigurácia Efektivita na GPU Užitočný režim
1 GPU 1.00× (základ) Vždy
4 GPU, jeden uzol, PCIe Gen5 TP 0.82× Ideálny bod pre TP
8 GPU, jeden uzol, PCIe Gen5 TP (prepínané) 0.73× Hranica použiteľnosti pre TP
8 GPU, jeden uzol, FSDP / dátový paralelizmus 0.88× Silné pre DP
2 uzly × 4 GPU, 200 Gbps IB, TP medzi uzlami 0.65× Bolestivé, zriedka sa oplatí
2 uzly × 8 GPU, 200 Gbps IB, TP vnútri / PP medzi uzlami 0.74× Rozumné pre veľké modely
4 uzly × 8 GPU, 400 Gbps IB NDR, kombinácia TP/PP/DP 0.62× Skutočná klastrová práca
2 uzly × 8 GPU, 100 GbE RoCE, len dátový paralelizmus 0.84× Najlepší viacuzlový kompromis pre DP

Dva závery. Po prvé, rozdeliť úlohu pre 8 GPU do dvoch 4-GPU uzlov je horšie než ju nechať bežať v jednej skrini — každý fabric medzi uzlami je pomalší než PCIe vnútri skrine, ktorú ste už mali. Po druhé, dátový paralelizmus škáluje naprieč fabricom oveľa lepšie než tensor paralelizmus. Ak Vaša skutočná otázka znie „dokážem obslúžiť viac požiadaviek“, a nie „dokážem rozbehnúť jeden väčší model rýchlejšie“, DP repliky fungujú — a fungujú aj na bežnom 100 GbE.

Ak odhadovaná efektivita klesne pod 60 %, workload má nesprávny tvar na viacuzlovú prevádzku na bežnom fabricu. Prerobte architektúru (TP vnútri uzla, PP alebo DP medzi uzlami), kúpte väčší jeden uzol alebo hardvér triedy SXM. Hrubá sila nepomôže.

Pasca výskumných laboratórií a prevádzková daň

Vzorec, ktorý vidíme dosť často na to, aby sme ho pomenovali: laboratórium plánuje „do budúcna“ a objedná dva 4-GPU uzly namiesto jedného 8-GPU. V skutočnosti dostane horšie trénovanie (0.65× pri TP medzi uzlami oproti 0.73× vnútri uzla), horšiu inferenciu pre každý model, ktorý sa zmestil do jednej skrine, dvojnásobnú prevádzkovú záťaž (dve BMC, dve ladenia NIC, dva stavy pinovania ovládačov, dve domény zlyhania) a po započítaní druhej sieťovej karty, druhého zdroja a lepšieho switchu zhruba rovnakú cenu komponentov. Kúpte najprv jeden 8-GPU uzol.

Viacuzlové riešenie, keď je správnou odpoveďou, nie je zadarmo. Daň navyše:

  • Zdieľané úložisko — lokálne NVMe prestane stačiť. NFS, BeeGFS alebo Lustre plus úložná VLAN (K04).
  • Asynchrónne shardované checkpointy — synchrónne neshardované zápisy na NFS zastavia klaster. PyTorch DCP alebo NeMo je nutnosť, nie voliteľnosť.
  • Ladenie NIC a NCCL — riadenie toku RoCE, PFC, ECN, jumbo rámce, voľba transportu NCCL, topologické súbory, algoritmy ring verzus tree. Každý jeden parameter bude po inštalácii nastavený zle.
  • Monitoring — DCGM na každom uzle, federácia Prometheus, trasovacie buffre NCCL.
  • Riešenie porúch — výpadky uzlov, resety sieťových kariet, poblikávanie portov na switchi. K06 popisuje jednotlivé režimy; miera porúch je pri viacerých uzloch zhruba N-násobkom jedného uzla a zotavenie je komplikovanejšie.

V inžinierskom čase stojí viacuzlová prevádzka 4–5× na každý pridaný uzol. Počítajte s tým, alebo sa zmierte s tým, že klaster strávi prvého pol roka na polovici teoretickej kapacity.

Konkrétny rozhodovací postup

Prejdite si to po poradí. Prvé „áno“ ukončí diskusiu.

  1. Zmestí sa model na 8× 96 GB vo FP8 s rezervou 30–40 % VRAM na KV? Ak áno, jeden uzol, hotovo.
  2. Zmestí sa v INT4 s rovnakou rezervou? Ak áno a robíte inferenciu (nie trénovanie), odpoveďou je jeden uzol v INT4. Váhy INT4 nie sú použiteľné pre gradientovú cestu trénovania — pokračujte.
  3. Je workload obmedzený priepustnosťou, a nie veľkosťou modelu? Ak áno, odpoveďou sú dátovo paralelné repliky jednouzlových konfigurácií, nie klaster. Dve skrine za load balancerom, žiadny fabric netreba.
  4. Je workload tensor-paralelným trénovaním modelu, ktorý sa do jedného uzla nezmestí? Viac uzlov s InfiniBandom. Odhadnite efektivitu škálovania podľa tabuľky v K07. Pod 60 % prerobte architektúru (TP vnútri, PP medzi uzlami) alebo znížte počet uzlov a zmierte sa s dlhším reálnym časom.
  5. Je workload predtrénovaním modelu 70B+ od nuly? Špičkový prípad. Viac uzlov s NDR IB alebo SXM. Kentino dokáže postaviť stranu s IB, no väčšina zákazníkov, ktorí sa pýtajú, túto prácu v skutočnosti nepotrebuje robiť sama.

Kroky jeden a dva pokrývajú väčšinu trhu. Krok tri znamená, že rastiete dobre — odpoveďou sú repliky, nie klaster. Kroky štyri a päť sú reálne, ale zriedkavé.

Úprimný pohľad

Viac uzlov je správne na špičke — trénovanie 70B+ od nuly, inferencia 405B+ pri produkčnej latencii, hyperscale prevádzka nad 100k QPS alebo výskum závislý od dennej priepustnosti, akú jedna skriňa nedá. To sú reálne workloady. Nie sú však väčšinou toho, čo sa stavia.

Pre všetko ostatné je odpoveďou jeden dobre navrhnutý 8-GPU uzol. Zvládne každý inferenčný workload s otvorenými váhami roku 2026, ktorý sa zmestí do 768 GB vo FP8/INT4, LoRA aj QLoRA až do 405B, plné dolaďovanie modelov triedy 13B bez reptania a škáluje na dve či tri DP repliky kvôli priepustnosti bez akéhokoľvek klastrového fabricu. A prevádzkuje sa dramaticky jednoduchšie.

Rozhovor s väčšinou zákazníkov má takýto tvar: popíšte workload, spočítajte, či sa zmestí, odhadnite efektivitu škálovania. Ak z toho vyjde klaster, postavte klaster. Ak jeden uzol, postavte jeden uzol. Ak dve repliky za smerovačom, postavte to. Nepredávame najväčšiu konfiguráciu, akú ešte strpíte — predávame tú, ktorá bude naozaj fungovať.

Čo robiť ďalej

Ak zvažujete škálovanie do šírky ešte pred podpisom:

  1. Spíšte si model a workload. Počet parametrov, kvantizácia, špičkový počet súbežných používateľov, cieľová latencia, cieľová priepustnosť. Výpočty o zmestení sa aj o priepustnosti vychádzajú z týchto čísel; bez nich je odpoveď len odhad.
  2. Spočítajte váhy plus KV cache pri cieľovej súbežnosti. Zmestí sa do 8× 96 GB s rezervou 30 % → jeden uzol. Inak zvažujte viac uzlov.
  3. Odhadnite efektivitu škálovania pre Vašu skutočnú konfiguráciu. Použite tabuľku v K07. Pod 60 % znamená, že je zlá architektúra, nie počet uzlov.
  4. Oddeľte otázku priepustnosti od otázky zmestenia modelu. „Viac požiadaviek za sekundu“ je otázka replík. Dve 8-GPU skrine za smerovačom porazia jeden 16-GPU klaster pri každom workloade citlivom na latenciu, aký sme merali.
  5. Úprimne zhodnoťte prevádzkové kapacity. Bez inžiniera pre úložiská, sieťového inžiniera a pohotovosti strávi druhý uzol prvý štvrťrok na 50 % teoretickej kapacity, kým budete ladiť NCCL a BeeGFS.
  6. Štandardne voľte jeden väčší uzol, nie dva menšie. Porovnanie 4-GPU × 2 oproti 8-GPU × 1 vychádza takmer v každom ohľade v prospech 8-GPU skrine.

Sprievodné články: K02 (trénovanie), K03 (inferenčné klastre), K04 (úložiská), K06 (riešenie porúch), K07 (limity PCIe a stena škálovania), N02 (IB verzus RoCE verzus Ethernet), N03 (NVLink a kedy na ňom záleží).


Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy uvítame na info@kentino.com.