Automatické značkovanie prostredia: svetové modely pre roboty riadené VLM
Zdieľať
V roku 2023 si dôveryhodný dataset pre domáce roboty vyžadoval tisíc človekohodín anotátorov, ktorí kreslili rámčeky okolo hrnčekov a stoličiek. V roku 2026 ten istý dataset vznikne cez noc na stacku vizuálno-jazykových modelov bežiacich na jedinom serveri s 8 GPU. Človek je stále v procese, no už len ako kontrolór vzorky, nie ako primárny anotátor. Tento článok je o tom posune — čo „autolabeling“ dnes pre robota naozaj znamená, ako vyzerá pipeline, kde sa láme a prečo je výpočtová stopa tým, čo rozhoduje, či to Váš tím vôbec zvládne.
Toto je súčasť robotickej vetvy Kentino Wiki. Krížovo odkazuje na R08 (argument latencie pre vyhradený edge výpočet) a I01 (architektúra edge AI s on-prem inferenciou). Budúci diel I05 prejde referenčnou zostavou dimenzovanou presne na tento workload.
Čo autolabeling v robotike znamená
Klasická pipeline počítačového videnia predpokladala, že anotácie sú vzácne a drahé. Ohraničujúci rámček okolo „šálky“ stál človeka desať sekúnd a pár centov. Pixelovo presná segmentačná maska stála minútu a dolár. Maska snímku po snímku naprieč tridsaťsekundovým videoklipom stála ako menšie auto.
Robotické datasety sú pre tento model patologické. Jediný štvornožec na tridsaťminútovej mapovacej jazde pri 30 fps vyprodukuje 54,000 snímok. Humanoid pri teleoperačnej relácii počas pracovného dňa státisíce. Každá snímka ideálne potrebuje:
- Ohraničujúce rámčeky objektov (s otvoreným slovníkom, nielen 80 tried z COCO)
- Segmentačné masky inštancií (aby politika dokázala uvažovať o uchopiteľných oblastiach)
- Opis scény v prirodzenom jazyku (aby sa ním dal podmieniť VLA model)
- Sledovaná identita naprieč snímkami (aby „červený hrnček“ zostal tým istým hrnčekom)
- Voliteľne: odhady 3D polohy fúzované s hĺbkou alebo LiDARom
Ekonomika ľudského anotátora pri ktorejkoľvek z týchto položiek umiera pri prvej tisícke snímok. „Autolabeling“ je zastrešujúci pojem pre využitie základových modelov — VLM, detektorov s otvoreným slovníkom, promptovateľných segmentátorov — na tvorbu týchto anotácií rýchlosťou inferencie, nie rýchlosťou klikajúceho človeka.
Posun od roku 2023 nie je filozofický, je mechanický. V tom istom osemnásťmesačnom okne sa zmenili tri veci:
- Detekcia s otvoreným slovníkom sa stala použiteľnou. Grounding DINO, OWLv2 a Florence-2 sa medzi polovicou roka 2024 a koncom roka 2025 posunuli z „zaujímavého dema“ na „produkčnú kvalitu pre ~80 % bežných objektov“.
- Prišla promptovateľná segmentácia videa. SAM 2 (polovica 2024) a teraz SAM 3 (vydaný v novembri 2025) zlacnili sledovanie masiek naprieč videom na základe promptu s podstatným menom. SAM 3 navyše prijíma priamo konceptové prompty — „žltý školský autobus“ — a vracia masky aj stabilné identity.
- VLM sa naučili uzemniť. Qwen2.5-VL (začiatok 2025) a nadväzujúce rodiny Qwen3-VL vracajú ohraničujúce rámčeky v skutočnej pixelovej mriežke v stabilnom JSON. 72B VLM môžete promptnúť vetou „vypíš každý objekt na tomto obrázku ako JSON s bbox a jednovetným opisom“ a dostanete niečo, čo sa dá priamo pustiť do tréningovej slučky.
Špičkou roku 2026 nie je jeden model — je ňou poskladaná pipeline.
Architektúra pipeline
Referenčný autolabelingový stack vyzerá takto:
Uložené na lokálne NVMe, potom synchronizované na server
vstup: snímka + slovník popisov (alebo voľný popis vygenerovaný VLM)
výstup: ohraničujúce rámčeky + triedy na snímku
výstup: masky jednotlivých inštancií, sledovaná identita naprieč klipom
vstup: snímka + rámčeky/masky z fáz 1+2
výstup: popis snímky, popisy objektov, vzťahy medzi objektmi („hrnček NA stole“)
Premietnutie anotácií do 3D cez hĺbku + pózu kamery
Deduplikácia naprieč pohľadmi, tvorba registra inštancií objektov
Kontrolór opravuje v Roboflow / Labelbox / V7
Opravy sa vracajú ako tréningový signál
alebo podmienenie manipulačnej politiky na anotovaných trajektóriách
Šesťfázová autolabelingová pipeline — záznam → uzemnenie → segmentácia → opis → akumulácia → kontrola → tréning
Skôr než pôjdeme ďalej, stojí za to upozorniť na pár vecí.
Po prvé, fázy 1 a 2 sa často zlievajú do Grounded-SAM 2, otvorenej pipeline od IDEA-Research, ktorá naraz prepája Grounding DINO (alebo Florence-2 či DINO-X) do SAM 2. Autolabelovací skript v tom repozitári je kanonickou implementáciou prístupu „rámčeky a masky z podstatného mena“. S konceptovým promptovaním v SAM 3 sa to zlieva ešte viac — dáte mu slová, dostanete sledované masky.
Po druhé, fáza 3 je tá drahá a zároveň tá, kde na voľbe modelu záleží najviac. 7B VLM (Qwen2.5-VL 7B, Florence-2 large) vyprodukuje súvislé popisy lacno, ale unikajú mu nuansy. Model triedy 72B produkuje dramaticky bohatšie opisy, častejšie trafí vzťahy a je oveľa užitočnejší pre nadväzujúci tréning VLA — pri zhruba 10× vyššej cene na snímku.
Po tretie, fáza 4 je to, čo ľudia v tomto kontexte myslia pod pojmom „model sveta“. Nie je to generatívny videomodel ako Cosmos Predict. Je to perzistentný, 3D orientovaný register toho, „aké objekty v tejto miestnosti existujú, kde sú a ako spolu súvisia“. ConceptGraphs je kanonickým open-source receptom; OK-Robot ukázal, že škáluje na ~170 úloh typu pick-and-place v desiatich domácnostiach. Model sveta je to, čo robí anotácie opakovane použiteľnými: keď sa robot vráti zajtra, nezačína od nuly.
Čo VLM zvládajú dobre a kde zlyhávajú
Poctivá tabuľka, pretože marketingové materiály ku každému z týchto modelov sú zavádzajúce, každý inak:
| Úloha | Kvalita VLM stacku (2026) |
|---|---|
| Detekcia bežných objektov (kuchyňa, kancelária) | Výborná — 90%+ recall, málo halucinácií |
| Nové kategórie s otvoreným slovníkom | Dobrá, ale nevyrovnaná — závisí od formulácie |
| Pixelovo presná segmentácia pri dobrom rámčeku | Výborná — SAM 2/3 je v podstate vyriešený |
| Sledovanie identity v 30 s klipe | Dobré so SAM 3, priemerné so samotným SAM 2 |
| Počítanie (koľko šálok je na stole) | Slabé — VLM vytrvalo halucinujú počty |
| Malé / vzdialené objekty | Slabé — rámčeky spoľahlivo vypadávajú pod ~20 px |
| Rýchly pohyb (chápadlo, švihnuté rameno, padajúci predmet) | Slabé — pohybové rozmazanie zabíja detekciu aj segmentáciu |
| Extrémne svetelné podmienky (odlesky, šero, IR) | Slabé — tréningová distribúcia toto nepokrýva |
| Opakované identické objekty (stohované škatule) | Slabé — sledovanie identity sa zamotá |
| Nové kategórie z úzkej priemyselnej domény | Zlé — „otvorený“ slovník je otvorený v rámci sveta ImageNetu |
| Voľný opis scény (odsek textu) | Výborný — 72B VLM sú tu naozaj dobré |
| Priestorové vzťahy (na, pod, za) | Dobré — Qwen2.5-VL to zvláda spoľahlivo |
Jedno najdôležitejšie poctivé konštatovanie: autolabely sú zašumené. Naprieč literatúrou rokov 2025–2026 končí detekcia s otvoreným slovníkom na doménach mimo tréningovej distribúcie na 5–15 % halucinácií podľa toho, ako to meriate. Štúdia GroundCount zo začiatku roka 2026 uviedla zlepšenie presnosti počítania o 6.6 percentuálneho bodu len vďaka pridaniu explicitného uzemnenia detektorom k VLM — čo znamená, že samotné VLM sa v počtoch stále výrazne mýlia. Nič z toho nie je neprekonateľné, ale znamená to, že čistá nekontrolovaná autolabelingová pipeline nie je bezpečná pre tréningové dáta kritické z hľadiska bezpečnosti.
Opatrením, ktoré v praxi naozaj funguje, je dvojúrovňová kontrola vzorky: všetko anotujete automaticky, potom na ľudskú kontrolu vytiahnete 1–5 % snímok podľa signálu neistoty (entropia tokenov VLM, istota detektora, nezhoda viacerých modelov). Kontrolóri opravujú a tieto opravy sa použijú buď priamo ako tréningové dáta, alebo ako spätná väzba na rekalibráciu prahov istoty autolabelera. Je to tá istá slučka, na ktorej bol trénovaný samotný Florence-2 — dataset FLD-5B od Microsoftu vznikol kaskádou špecializovaných modelov a následným výberom vzorky na kontrolu.
Výpočtová stopa — prečo to končí on-prem
Toto je tá časť, ktorá prekvapí ľudí, čo si čísla neprepočítali.
Vezmite si reprezentatívny cieľ: jedna hodina robotického záznamu pri 10 fps zo stereo kamery v 1080p. To je 36,000 snímok. Chcete všetky štyri typy anotácií: rámčeky, masky, popisy, sledovanú identitu.
Hrubý odhad nákladov na snímku na jedinej RTX 5090 (32 GB, Blackwell, ~104 TFLOPS FP16):
| Fáza | Na snímku | 36 000 snímok |
|---|---|---|
| Grounding DINO (Tiny) | ~30 ms | ~18 min |
| SAM 2 large, maska + propagácia | ~25 ms | ~15 min |
| Qwen2.5-VL 7B popis | ~250 ms | ~2.5 h |
| Qwen2.5-VL 72B popis (INT4, dávkovo) | ~1.5–3 s | ~15–30 h |
| Florence-2 large (iba popis) | ~80 ms | ~48 min |
Tieto čísla sú rádové — predpokladajú rozumné dávkovanie, obsluhu cez vLLM a kvantizáciu FP16/INT4 tam, kde to dáva zmysel. Samotný SAM 2 beží v pôvodnom benchmarku na A100 pri ~44 fps, takže ~50–60 fps na 5090 je reálnych.
Zaujímavým riadkom je 72B VLM. Ak chcete bohaté opisy scény pre každú snímku z VLM triedy 72B, na jedinej GPU to v reálnom čase nezvládnete. Máte dve možnosti:
- Výrazne podvzorkovať — popisovať každú desiatu snímku a zvyšok interpolovať. Takto to väčšina produkčných pipeline naozaj robí.
- Použiť menší VLM (trieda 7B–11B) na každú snímku a 72B si nechať len na kľúčové snímky.
- Pridať viac GPU — a vtedy sa osem kariet 5090 v jednom šasi stáva spodnou hranicou praktického rozsahu.
Celkové náklady na úplný autolabelingový prechod jednou hodinou záznamu pri 10 fps s 72B modelom v slučke vychádzajú na zhruba 4–8 GPU-hodín na spotrebnom kremíku Blackwell a šasi Kentino AI 256 s 8× 5090 to pri paralelizácii naprieč GPU zvládne bezpečne pod hodinu reálneho času.
Teraz výpočet pre cloud. Ten istý workload u hyperscalera:
- Výpočet: porovnateľný, pri spotových cenách možno lacnejší.
- Odchod dát: brutálny. Stereo záznam v 1080p pri 10 fps za hodinu má ~30–80 GB surových dát, viac, ak si necháte hĺbku. Uloženie do cloudu a sťahovanie anotácií späť stojí centy smerom dnu a desiatky dolárov smerom von za každý prechod. Štúdia Robo-DM z Berkeley z roku 2025 to zmerala explicitne: uloženie 8.9 TB dát Open-X na Google Cloud stojí $172/mesiac, ale každé úplné stiahnutie stojí $172–$1,540 podľa tarify. Vynásobte to flotilou, ktorá týždenne nahráva stovky hodín, a samotný odchod dát prekročí amortizáciu jedného on-prem servera do roka.
- Latencia slučky: dlhá. Zmyslom autolabelingu je uzavretá slučka — dnes nahrať, v noci anotovať, zajtra doladiť, do rána nasadiť lepšiu politiku. Cloudová obrátka pridá hodiny nahrávania na bežnej linke laboratória.
- Súkromie: problém. Platí tu ten istý argument o regulovaných dátach z R08. Surové robotické video z nemocničnej izby, výrobnej haly alebo obranného laboratória nejde na cudziu GPU.
Preto si každé seriózne robotické laboratórium v roku 2026 vlastní svoj autolabelingový výpočtový výkon. Kentino AI 256 Turin Dual s 8× RTX 5090 je dimenzovaný takmer presne na tento workload — 256 GB systémovej RAM, osem GPU na paralelné fázy pipeline, NVMe pre horúcu vrstvu datasetu. Konfigurácia so 4× RTX Pro 6000 Blackwell je cestou k upgrade, keď chce tím spúšťať 72B v FP16 namiesto INT4 a držať rezidentne viac súbežných modelov.
Uzavretá slučka
Dôvodom, prečo sa on-prem stopa vráti, nie je samotný autolabeling — je to slučka, ktorú umožňuje.
Denná uzavretá slučka — záznam → autolabeling → kontrola → doladenie → overenie → nasadenie
Toto je slučka, pre ktorú bol navrhnutý recept OpenVLA-OFT (marec 2025): 25–50× rýchlejšie doladenie než pri klasickom OpenVLA, navrhnuté tak, aby sa zmestilo na jediný GPU server triedy workstation. FLaRe (ICRA 2025) je jeho analógiou v posilňovanom učení. Práce o priebežnom učení s doladením cez adaptéry (OMLA, LifeLong-RFT) umožňujú adaptáciu bez katastrofického zabúdania.
Nič z toho nefunguje v takte cloudovej obrátky. Hodnotou je slučka a slučka vyžaduje, aby dáta aj výpočtový výkon boli v tej istej budove.
Konkrétny príklad — humanoid v domácnosti
Aby to bolo konkrétne, predstavte si najjednoduchšiu životaschopnú autolabelingovú pipeline pre humanoida, ktorý vykonáva domáce úlohy (naložiť umývačku, poskladať bielizeň, priniesť veci z označeného koša).
Záznam: humanoid má stereo RGB kamery pri 30 fps, zápästné kamery pri 15 fps, hĺbku z aktívneho sterea a stavy kĺbov pri 200 Hz. Dvojhodinová relácia vyprodukuje ~250 GB surových dát na palubnom NVMe.
Synchronizácia: po skončení relácie robot nahrá dáta na serveri Kentino AI v laboratóriu cez kábel alebo Wi-Fi 6E, ~5–10 minút na 250 GB.
Fáza 1+2 (Grounded-SAM 2): detekcia s otvoreným slovníkom s doménovým slovníkom asi 200 domácich podstatných mien („hrnček“, „obracačka“, „kôš na bielizeň“, „modrá utierka“…) plus vlastné koncové efektory agenta. SAM 2 propaguje masky cez klipy. Reálny čas na 8× 5090: ~45 minút.
Fáza 3 (Qwen2.5-VL): 7B VLM na každej snímke pre krátky popis, 72B na každej desiatej snímke pre bohatší opis plus vzťahy medzi objektmi. Reálny čas: ~3 hodiny.
Fáza 4 (graf scény): akumulátor v štýle ConceptGraphs buduje perzistentný 3D graf scény bytu. Do konca týždňa žije v grafe každý objekt, ktorý robot videl, so stabilným ID, jazykovými popismi a hrubou 3D polohou. Reálny čas: pár minút na reláciu, amortizovane.
Fáza 5 (kontrola): interný nástroj vynáša snímky, kde je istota triedy u VLM < 0.6, alebo kde sa fáza 1 a fáza 3 nezhodnú na triede. Kontrolór zvládne ~500 snímok za hodinu. Pri 5 % vzorke z dvojhodinovej relácie je to zhruba hodina ľudského času denne.
Fáza 6 (tréning): opravené anotácie vstupujú do doladenia VLA v štýle OFT. Server Kentino AI to beží cez noc na tom istom hardvéri, ktorý robil autolabeling — workloady idú za sebou, nie súbežne.
Toto nie je výskumný myšlienkový experiment. Takto to v roku 2026 reálne robia 1X, Skild AI aj publikované skupiny používajúce OpenVLA, s internými obmenami. Pipeline je otvorená, modely sú otvorené, úzkym hrdlom je výpočtový výkon a inžinierska práca — nie prístup k algoritmom.
Poctivé limity
Tri veci, ktoré by tento článok nemal nechať bez priznania:
Halucinácie sú reálne a trvalé. Ani s dvojúrovňovou kontrolou sa nedá spoliehať na neskontrolované autolabely pri tréningu kritickom z hľadiska bezpečnosti (vyhýbanie sa kolíziám, rozhodnutia o kontakte, čokoľvek, kde by zlá anotácia mohla ublížiť robotovi alebo človeku). Používajte ich na tréning schopností, nie bezpečnosti. Pre bezpečnosť stále chcete kurátorované dáta.
Uzemnenie mimo tréningovej distribúcie rýchlo degraduje. VLM trénovaný prevažne na webových obrázkoch bude vynikajúci v kuchyniach a kanceláriách a citeľne horší v CNC dielni alebo na nemocničnom oddelení. Riešením je doménovo špecifické doladenie samotného autolabelera, ktoré má vlastnú cenu.
Model sveta je krehký voči zmene prostredia. ConceptGraphs a jemu podobné predpokladajú, že svet je medzi návštevami zhruba statický. Presuňte nábytok a graf scény treba prestavať alebo dôkladne prevaliditovať. Na tomto sa aktívne pracuje (online grafy scény s otvoreným slovníkom, okrem iných aj práca Naver Labs z roku 2025), no model sveta berte ako poradný, nie smerodajný.
Odhady výpočtu sú tu hrubé. Všetky čísla na snímku závisia od stratégie dávkovania, kvantizácie, dĺžky promptu a rozlíšenia obrázka. Tabuľku berte ako rádovú. Pri dimenzovaní stroja je rozhodujúci práve rád.
Čo robiť ďalej
Ak zvažujete, či postaviť autolabelingový stack:
- Rozhodnite sa, čo naozaj potrebujete anotovať. Len rámčeky a masky — stačí Grounded-SAM 2 na jednej GPU. Popisy a vzťahy — potrebujete minimálne VLM triedy 7B–11B. Bohaté opisy pre tréning VLA — potrebujete triedu 72B a musíte si poctivo narozpočtovať GPU-hodiny.
- Preverte si svoju doménu. Sú objekty, na ktorých Vám záleží, v tréningovej distribúcii detektorov s otvoreným slovníkom? Ak pracujete prevažne v kuchyniach, kanceláriách alebo skladoch — áno. Priemyselné či medicínske špecializované domény — počítajte s doladením autolabelera, než mu začnete veriť.
- Naplánujte kontrolnú vrstvu od prvého dňa. Vyberte nástroj (Roboflow, Labelbox, V7 alebo vlastný s výberom vzorky podľa neistoty) a vyhraďte aspoň jeden úväzok kontrolóra na každých desať robotohodín záznamu denne. Autolabelingová pipeline ľudí nenahrádza, mení to, čo ľudia robia.
- Dimenzujte výpočet na krok s 72B. Ostatné fázy sa zmestia na čokoľvek. Práve 72B VLM vo veľkom je tou položkou, ktorá ospravedlní server s 8 GPU. Ak Vaša pipeline používa len VLM triedy 7B, stačí box so 4 GPU. Ak chcete bohatšie opisy a takt uzavretej slučky doladzovania, chcete konfiguráciu s 8 GPU.
- Úložnú vrstvu dajte na NVMe a studenú vrstvu na točivé disky. Týždeň záznamu flotily sú terabajty. Autolabeler býva pri menších modeloch obmedzený častejšie vstupom/výstupom než výpočtom na GPU.
V ponuke Kentino nájdete Kentino AI 256 Turin Dual / 8× RTX 5090 dimenzovaný na tento workload na strane spotrebného kremíka a Kentino AI 4× RTX Pro 6000 Blackwell na strane vyššej VRAM, keď chcete držať rezidentne viac veľkých VLM naraz. Ceny a detaily zostáv sú na príslušných produktových stránkach a v budúcom článku I05, ktorý prejde celou referenčnou zostavou.
Pomyselná hrana tohto stacku sa posúva každý kvartál — SAM 3 má pol roka, Qwen3-VL práve vyšiel, Cosmos Reason 2 je čerstvý — takže konkrétne modely v tomto článku zostarnú rýchlejšie než architektúra. Samotná architektúra je už stabilná. Rámčeky, masky, popisy, graf scény, kontrola, tréning, nasadenie. Táto slučka nikam nezmizne.
Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy uvítame na info@kentino.com.