Referenčná zostava: robotické a AI laboratórium v jednom racku

Predchádzajúce články popisujú architektúru, softvérový stack, energetický rozpočet a návrh siete. Tento k tomu všetkému pridáva cenovku a zoznam dielov — vychádza z reálneho hardvéru, ktorý Kentino dodalo a odmeralo, nie z teoretického BOM poskladaného z marketingového letáku.

Cieľom nasadenia je výskumné alebo integračné laboratórium, ktoré prevádzkuje jeden až štyri roboty spolu s on-prem inferenciou a priestorom na tréning. Stredná škála: nie hobby zostava, ktorá sotva utiahne 7B model, ani hyperscale klaster vyžadujúci vlastný tím správy budov. Seriózne pracovné prostredie, ktoré dokáže postaviť, prevádzkovať a rozvíjať tím dvoch až šiestich ľudí bez vyhradeného DevOps.

Článok pokrýva dve úrovne toho istého architektonického vzoru. 4-GPU vývojová úroveň je miesto, kde väčšina laboratórií začína. 8-GPU produkčná úroveň je to, kam sa dostanú po prvom reálnom workloade. Voľba hardvéru sa líši; architektúra je identická.

Čo ukazujú dáta z flotily

Kentino nasadilo flotilu jednotne nakonfigurovaných 4-GPU výpočtových uzlov. Každá jednotka má rovnakú špecifikáciu: AMD EPYC 7542 (32 jadier / 64 vlákien, boost 2.9 GHz), 512 GB DDR4 ECC LRDIMM na 2666 MT/s v ôsmich DIMM moduloch, štyri GPU RTX 4090 (24 GB VRAM každé, 96 GB spolu), 2 TB NVMe scratch disk a 512 GB SATA SSD pre OS. Základná doska je ASRockRack ROMED8-2T/BCM. Ubuntu 24.04 LTS, jadro 6.8.0-generic, ovládač NVIDIA 590.48.01, CUDA 13.1/13.2.

Všetkých desať uzlov dosahuje identické benchmarkové čísla. Nie je to náhoda — je to zmysel referenčnej zostavy. Keď každá jednotka odchádza s rovnakou konfiguráciou, benchmark je špecifikácia, nie šťastný beh.

Výkon GPU

FP16 maticové násobenie na tensor core naprieč štyrmi kartami (workload 8192 × 8192):

GPU 1 beží približne o 6 % nižšie ako GPU 0, 2 a 3 — v rámci bežného rozptylu kremíkovej lotérie pri spotrebiteľských kartách. Všetky štyri prešli 60-sekundovým GPU-burn testom aj kombinovaným GPU+CPU burn testom s nulovými výpočtovými chybami. Teplotná rezerva je pohodlná: prah teplotného throttlingu pre RTX 4090 je 83 °C a najteplejšia karta vo flotile dosiahla maximum 73 °C pri súčasnej záťaži GPU a CPU. Na žiadnom uzle sme throttling nepozorovali.

Praktická poznámka k power limitom: flotila sa dodáva s mierne odlišne nastavenými limitmi na jednotlivých kartách (450 W, 480 W, 500 W podľa slotu). Pri trvalej produkčnej prevádzke zjednotenie všetkých štyroch na 450 W vyhladí celkový odber a zníži nerovnováhu medzi zdrojmi. Strata TFLOPS pri 450 W oproti 500 W je pod 2 % — nestojí za asymetrické zaťaženie vetiev.

vLLM inferencia — Llama 3.3 70B AWQ

Merané s vLLM 0.19.0, tensor_parallel_size=4, gpu_memory_utilization=0.80, max_model_len=2048:

Jedna dôležitá výhrada: benchmark použil awq kvantizačný kernel, nie awq_marlin. Cesta awq_marlin na Ada Lovelace (RTX 4090) je pri latencii jedného requestu 2–3× rýchlejšia. Produkčné nasadenia by mali používať awq_marlin alebo cestu FP8 pod vLLM 0.20+, ktorá rozdiel ešte zmenšuje. Pri použití awq_marlin sa uvedené číslo pre jeden request posúva z ~8 tok/s na približne 16–20 tok/s na týchto kartách — bližšie k tomu, čo používatelia zažívajú v praxi. Prínos pre agregovanú priepustnosť v dávke je pomerne menší, pretože pri vysokej súbežnosti sa úzke hrdlo presúva z výpočtu na priepustnosť pamäte.

Tieto čísla platia pre Llama 3.3 70B v INT4 (AWQ). Model 7B alebo 8B v Q4 beží na rovnakom hardvéri 4–6× rýchlejšie na token; 13B model beží zhruba 2.5× rýchlejšie. Číslo pre 70B je relevantným obmedzením pri dimenzovaní pre VLM a veľké plánovacie modely v robotickom kontexte.

llama.cpp — jeden používateľ, žiadna súbežnosť

Merané s llama-cpp-python 0.3.20 (CUDA/cuBLAS), Llama 3.3 70B Instruct Q4_K_M GGUF, všetky štyri GPU:

llama.cpp sa načítava rýchlejšie (10.8 s oproti 95 s pri vLLM) a na týchto kartách dosahuje vyššiu rýchlosť dekódovania pre jedného používateľa, pretože neplatí réžiu plánovača priebežného dávkovania. Daňou je nulová súbežnosť — jeden používateľ naraz. Správne čítanie týchto čísel: llama.cpp na 4-GPU uzle dá vývojárovi responzívny 70B model na interaktívnu prácu; vLLM je správna voľba vo chvíli, keď máte viac ako jedného klienta.

Pozri I02 pre úplnú rozhodovaciu maticu serving stacku. Stručne: začnite s vLLM v Dockeri, použite awq_marlin kvantizáciu a na llama.cpp prejdite len pri jednopoužívateľských vývojových strojoch alebo nasadeniach na Jetson.

Priepustnosť pamäte GPU

Priepustnosť device-to-device (v rámci karty) je konzistentná na úrovni 920.2–920.6 GB/s na všetkých štyroch kartách — vzájomne do 0.04 %, čo potvrdzuje, že GDDR6X tu nie je premennou. Priepustnosť PCIe Host→Device dosahuje 26.2–26.3 GB/s, čo potvrdzuje, že Gen4 x16 je pod záťažou plne vyjednaná (stav linky v nečinnosti ukazuje Gen1 kvôli šetreniu energie ASPM — normálne, nie chyba). Peer prenosy medzi GPU cez PCIe (bez NVLink) merajú 19–22 GB/s, čo je očakávaný strop pre peer-to-peer cez zdieľaný PCIe root complex bez NVLink (pozri N03 pre kontext).

NVMe úložisko

Sekvenčná priepustnosť je blízko stropu Gen4 x4. Náhodné IOPS pri hĺbke fronty 32 saturujú dobre: 568K čítacích IOPS je výrazne nad tým, čo pri škále jedného uzla vyžaduje načítanie váh LLM alebo prístupové vzory k datasetu. Načítanie modelu z NVMe do VRAM trvá 10–30 sekúnd podľa veľkosti modelu; tento disk nie je úzkym hrdlom.

Referenčná zostava

BOM — 4-GPU vývojová úroveň

Vývojová úroveň je správnym štartovacím bodom pre laboratórium s jedným alebo dvoma robotmi, jedným či dvoma aktívnymi modelmi a občasným LoRA doladením popri tom.

Vývojová úroveň: 4-GPU výpočtový uzol + riadený ToR switch + 6 GHz AP + 5 kVA online UPS.

BOM — 8-GPU produkčná úroveň

Produkčná úroveň zdvojnásobuje počet GPU. Architektonický vzor je rovnaký; CPU, RAM a šasi sa škálujú tak, aby uniesli osem PCIe slotov s plnou priepustnosťou. Platforma AMD EPYC Genoa alebo Turin poskytuje dostatok PCIe liniek pre 8× x16 slotov bez kompromisu v podobe bifurkácie (pozri W02).

Poznámka: doplnková 25 GbE NIC karta je zmysluplná len v 8-GPU šasi. 4-GPU šasi nemá dostatok miesta na ďalšiu NIC kartu — onboard porty 10 GbE na ROMED8-2T/BCM sú praktickým limitom 4-GPU úrovne (pozri N01 a pravidlá produktovej stránky).

Úložisko mimo výpočtového uzla

Pre vývojovú úroveň dá 4-šachtový NAS so 4× 16 TB HDD 48 TB využiteľných v RAID-5 — dosť na rok dát epizód pre laboratórium s dvoma robotmi. Pripojte ho cez 10 GbE do ToR switcha; nedávajte ho na rovnaké rozhranie ako premávku robotov.

Napájanie a chladenie racku

Z I04:

Dáta zo záťažových testov flotily potvrdzujú, že 4-GPU uzol odoberá ~1,914 W pri plnej záťaži GPU, keď všetky štyri karty dosiahnu svoje power limity. Pripočítajte CPU (~120 W trvalo), NVMe a réžiu ventilátorov a uzol sa dostane približne na 2.1–2.2 kW trvalo.

Elektroinštalácia pre vývojovú úroveň: trojfázový prívod 400 V 16 A je minimum; trojfázových 32 A dáva priestor na rast. Napájacie káble zdrojov na dvoch samostatných fázach. Pozri I04 a P02 pre schému zapojenia. Pre produkčnú úroveň (10 kW celý rack) potrebujete trojfázový prívod 400 V 32 A a chladiaci výkon aspoň 15 kW.

Dimenzovanie UPS: dimenzujte len na server, nie na roboty. Pre vývojovú úroveň je 5 kVA online UPS s dvojitou konverziou minimálnou rozumnou voľbou. Pre produkčnú úroveň 10 kVA. Vždy špecifikujte online dvojitú konverziu. Pozri P05.

Softvérový stack na bare metal

Softvérový stack: pripnuté Ubuntu + ovládač NVIDIA → container toolkit → vLLM + llama.cpp + nginx + monitoring.

Pripnutie ovládača je nespochybniteľné. Flotila beží na ovládači 590.48.01; apt-mark hold nvidia-driver-590 je prvá vec po inštalácii OS na bare metal. Bezobslužný apt-get upgrade , ktorý stiahne novší ovládač, pokazil produkčnú inferenciu presne toľkokrát, koľko by ste čakali. Pozri L01 pre úplný postup.

Monitoring nie je voliteľný. Dáta z flotily ukazujú, že GPU 3 na jednom uzle malo počas benchmarkovania opraviteľné PCIe AER chyby (RxErr + BadTLP) — hardvér ich opravil automaticky, ale sú viditeľné v počítadlách DCGM. Bez monitoringu sa to o týždne neskôr prejaví ako „občasné divné chyby inferencie“. Zapojte DCGM a nastavte alert na opraviteľné ECC chyby nad základnou úrovňou. Pozri L05 pre stack Prometheus + Grafana.

Varianty dimenzovania

4-GPU vývojová úroveň — čo na nej reálne beží

96 GB VRAM spolu (4× 24 GB) pri TP=4:

72B VLM sa na 4× 24 GB v INT4 pohodlne nezmestí — výpočet je tesný, ale kontextové okná nad 4K ho prevážia. Použite buď variant VLM 32B, alebo prejdite na 8-GPU úroveň či uzol so 4× RTX Pro 6000 Blackwell (96 GB VRAM každá) pre triedu 72B. Pozri W07 pre diskusiu o VRAM verzus úroveň modelu.

Vývojová úroveň zvládne: jeden inferenčný model 70B obsluhujúci 1–3 súbežných robotických klientov, jeden VLM (trieda 32B) na vizuálne dotazy a občasné LoRA doladenie menšieho základného modelu. To pokrýva 80 % prípadov použitia robotických laboratórií v roku 2026.

8-GPU produkčná úroveň — rezerva navyše

192 GB VRAM spolu (8× 24 GB):

8-GPU úroveň otvára aj dvere súbežnému servovaniu viacerých modelov: 70B LLM na 4 GPU a 32B VLM na ďalších 4, ktoré naraz z jednej skrine obsluhujú zmiešanú flotilu robotov s rôznymi požiadavkami na modely. Na 4-GPU úrovni si to vyžaduje výmenu modelu s výpadkom 30–120 s na každú výmenu.

Poznámka k TP=8 pri 70B: TP=8 cez PCIe peer-to-peer (bez NVLink) škáluje horšie ako TP=4 × PP=2 pri súbežnosti nad 8, pretože komunikačné náklady all-reduce rastú so stupňom tensor paralelizmu. Benchmarkové dáta ukazujú priepustnosť PCIe medzi GPU 19–22 GB/s — dosť pre TP=4, ale all-reduce pri TP=8 a veľkých dávkach tieto linky saturuje. Odporúčaná konfigurácia pre 70B na 8× 4090 je TP=4 × PP=2, ako ukazuje I02.

Rozloženie racku

Výpočtový uzol sedí vždy pod switchom a UPS — prúdenie spredu dozadu vyžaduje, aby studený vzduch vstupoval spredu racku (studená ulička alebo prívod klimatizácie), prešiel serverom a vystúpil do teplej uličky vzadu. Pozri W05 a I04 pre disciplínu prúdenia vzduchu.

Jump host je 1U alebo malý stroj s vyvedeným obrazovým výstupom, používaný pri prvotnom oživení, inštalácii ovládačov a údržbe, keď je primárny server nedostupný cez sieť. GPU nepotrebuje. Postačí použitý workstation alebo malé 1U so 16 GB RAM a Gen3 SSD.

Čím táto zostava nie je

Nie je to desktopový GPU server v rackovej skrini. Otvorená desktopová Tower zostava — GPU na riser karte, bez skrine, ventilátory mierené do stropu — nie je to, čo je tu opísané. Desktopové zostavy sú v poriadku na vývoj; nie sú dimenzované na trvalú prevádzku 24/7 a neposkytujú smerované prúdenie spredu dozadu, ktoré udrží GPU na stabilnej prevádzkovej teplote celé týždne.

Nie je to NVLink klaster. RTX 4090 (trieda consumer/workstation) nemá NVLink. Prenosy medzi GPU idú cez PCIe rýchlosťou 19–22 GB/s, nie 900 GB/s. Na inferenčné servovanie s TP=4 to stačí a pri tréningu s TP=8 je to reálne obmedzenie. Ak je vaším workloadom náročný distribuovaný tréning modelu 70B a väčšieho, RTX Pro 6000 Blackwell (s podporou NVLink vo verzii pre viac GPU) alebo platforma s NVSwitch mení výpočet — ale aj cenu. Pozri N03.

Nie sú to redundantné zdroje. Konfigurácia s dvoma zdrojmi je rozdelené napájanie: zdroj A napája GPU 0 a 1 (plus základnú dosku), zdroj B napája GPU 2 a 3. Ak zlyhá zdroj A, prídete o dve GPU a základnú dosku. Nič sa automaticky neprepne. Toto je poctivé riešenie s dvoma zdrojmi — vyvažuje zaťaženie vetiev a znižuje riziko jedného bodu zlyhania oproti jednému veľkému zdroju, ale nie je to redundancia N+1. Pozri W04.

Nie je to náhrada cloudu na všetko. Ak je hlavným workloadom vášho laboratória jedno volanie modelu desaťkrát denne, výpočet TCO on-prem neobháji. Táto zostava sa oproti výdavkom na cloudové API vráti vtedy, keď prevádzkujete trvalú inferenciu pre viacerých klientov, pravidelne dolaďujete modely alebo fungujete pod obmedzeniami na lokalitu dát. Pozri T02 pre podrobný výpočet.

Prečo práve tieto voľby

AMD EPYC 7542 ako hostiteľské CPU. 32-jadrový EPYC poskytuje 128 liniek PCIe 4.0 len zo samotného CPU, čo stačí na 4× GPU v x16 bez bifurkácie, plus NIC, úložisko a PCIe switch na rozšírenie. EPYC je štandardnou platformou pre viac-GPU AI servery v tejto škále z dobrého dôvodu: Intel Xeon s rovnakým počtom jadier ponúka menej PCIe liniek, čo pri konfiguráciách so 4 a viac GPU vynucuje kompromisy s bifurkáciou. Pozri W02 pre výpočet počtu liniek.

512 GB systémovej RAM. Flotila sa dodáva s 512 GB (8× 64 GB), čo prekračuje nominálnu špecifikáciu 256 GB. Je to zámerné: načítavanie veľkých modelov pri štarte kontajnera, prednačítanie datasetov pri tréningu aj page cache operačného systému spotrebúvajú RAM, ktorú VRAM nahradiť nevie. Pri vLLM so zapnutým swap priestorom pre KV cache je systémová RAM priamo použiteľná ako prepad — 4 GB swapu na jedno GPU si vyžaduje 16 GB rezervy v systémovej RAM. 512 GB túto rezervu poskytuje a necháva priestor aj pre Isaac Sim, ktorý počas tréningu politík udrží 10–30 GB stavu simulácie v systémovej RAM.

2 TB NVMe scratch. Benchmark ukazuje sekvenčné čítanie 4,589 MB/s — dosť rýchle na načítanie 70B FP8 modelu (~75 GB) pod 20 sekúnd. Pre laboratórium, ktoré modely často prehadzuje (vývojový workflow, A/B testovanie inferenčných stackov), čas načítania rozhoduje. Pomalší SATA SSD tento čas na každú výmenu zdvojnásobí až strojnásobí.

Prúdenie vzduchu rackom spredu dozadu. Najčastejšia chyba pri prvých zostavách: desktopová orientácia (nasávanie z boku, výfuk hore a vzadu) v uzavretom racku nefunguje. Výpočtový uzol musí použiť smerované prúdenie vzduchu podľa konvencie studenej a teplej uličky racku. Pozri I01 a W05.

Úprimný pohľad na hardvér roku 2026

Toto je referenčná zostava pre máj 2026. RTX 4090 nie je najnovšou GPU možnosťou Kentino — RTX 5090 (32 GB VRAM, architektúra Blackwell, sm_120) a RTX Pro 6000 Blackwell (96 GB VRAM) sú dostupné a výrazne menia výpočet VRAM na kartu. 4-GPU uzol s RTX Pro 6000 Blackwell dáva 384 GB VRAM — dosť na pohodlné hostovanie Qwen 2.5 VL 72B vo FP8 na štyroch kartách — za úmerne vyššiu cenu na kartu.

Čo sa medzi generáciami nemení: architektonický vzor. Hostiteľ AMD EPYC, viac GPU cez PCIe, šasi s prúdením spredu dozadu, dva zdroje, Ubuntu 24.04, vLLM v Dockeri, Prometheus + DCGM exporter. Tento vzor bol konzistentný naprieč dvoma generáciami GPU a prežije aj ďalšiu. Zoznam dielov je čoraz lacnejší a rýchlejší; vzor zostáva.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Pripomienky a opravy vítame na info@kentino.com.