Automatyczne etykietowanie otoczenia: modele świata sterowane VLM dla robotów
Udostępnij
W 2023 roku wiarygodny zbiór danych dla robota domowego wymagał tysiąca roboczogodzin anotatorów rysujących ramki wokół kubków i krzeseł. W 2026 roku ten sam zbiór powstaje w ciągu nocy dzięki zestawowi modeli wizyjno-językowych działających na jednym serwerze z 8 GPU. Człowiek nadal jest częścią procesu, ale wyłącznie jako recenzent wyrywkowo wybranej próbki, a nie jako główny etykieciarz. Ten artykuł opisuje tę zmianę — co „autoetykietowanie” naprawdę oznacza dzisiaj dla robota, jak wygląda cały potok, gdzie się psuje i dlaczego to właśnie zapotrzebowanie na moc obliczeniową decyduje o tym, czy zespół w ogóle może sobie na nie pozwolić.
To część ścieżki Robotyka w Kentino Wiki. Artykuł odwołuje się do R08 (argument o opóźnieniach przemawiający za dedykowaną mocą obliczeniową na brzegu sieci) oraz I01 (architektura edge AI z inferencją on-premise). Przyszły artykuł I05 przeprowadzi przez konfigurację referencyjną zwymiarowaną dokładnie pod to obciążenie.
Czym jest autoetykietowanie w robotyce
Klasyczny potok wizji komputerowej zakładał, że etykiety są rzadkie i drogie. Ramka wokół „kubka” kosztowała człowieka dziesięć sekund i kilka centów. Maska segmentacyjna z dokładnością do piksela — minutę i dolara. Maska klatka po klatce dla trzydziestosekundowego klipu wideo kosztowała tyle co mały samochód.
Zbiory danych w robotyce są dla tego modelu zabójcze. Jeden czworonóg podczas trzydziestominutowego przejazdu mapującego przy 30 fps generuje 54,000 klatek. Sesja teleoperacji humanoida w ciągu dnia roboczego — setki tysięcy. Każda klatka idealnie powinna mieć:
- Ramki ograniczające obiektów (otwarty słownik, nie tylko 80 klas z COCO)
- Maski segmentacji instancji (aby polityka mogła wnioskować o obszarach nadających się do chwytu)
- Opis sceny w języku naturalnym (aby model VLA mógł być nim warunkowany)
- Śledzoną tożsamość w kolejnych klatkach (aby „czerwony kubek” pozostał tym samym kubkiem)
- Opcjonalnie: estymacje pozycji 3D, połączone z głębią lub danymi LiDAR
Ekonomia pracy anotatora umiera przy pierwszym tysiącu klatek — dla każdego z tych zadań. „Autoetykietowanie” to zbiorcze określenie na wykorzystanie modeli fundamentalnych — VLM-ów, detektorów o otwartym słowniku, segmentatorów sterowanych promptem — do produkowania takich etykiet z prędkością inferencji, a nie z prędkością klikającego człowieka.
Zmiana, która zaszła od 2023 roku, nie jest filozoficzna, lecz mechaniczna. W tym samym osiemnastomiesięcznym oknie zmieniły się trzy rzeczy:
- Detekcja o otwartym słowniku stała się użyteczna. Grounding DINO, OWLv2 i Florence-2 przeszły od „ciekawego dema” do „jakości produkcyjnej dla ok. 80% typowych obiektów” między połową 2024 a końcem 2025 roku.
- Pojawiła się segmentacja wideo sterowana promptem. SAM 2 (połowa 2024) i obecnie SAM 3 (premiera w listopadzie 2025) sprawiły, że śledzenie masek w wideo na podstawie frazy rzeczownikowej stało się tanie. SAM 3 przyjmuje w szczególności prompty pojęciowe wprost — „żółty autobus szkolny” — i zwraca maski wraz ze stabilnymi tożsamościami.
- VLM-y zyskały ugruntowanie w obrazie. Qwen2.5-VL (początek 2025) oraz kolejne rodziny Qwen3-VL zwracają ramki ograniczające w rzeczywistej siatce pikseli, w stabilnym formacie JSON. Model VLM klasy 72B można poprosić o „wypisanie każdego obiektu na tym obrazie w formacie JSON z bbox i jednozdaniowym opisem” i otrzymać coś, co da się podać dalej do pętli treningowej.
Stan sztuki w 2026 roku to nie pojedynczy model — to złożony potok.
Architektura potoku
Referencyjny stos autoetykietowania wygląda następująco:
Zapis na lokalny NVMe, następnie synchronizacja z serwerem
wejście: klatka + słownik opisów (lub swobodny opis wygenerowany przez VLM)
wyjście: ramki ograniczające + etykiety klas dla każdej klatki
wyjście: maski poszczególnych instancji, śledzona tożsamość w obrębie klipu
wejście: klatka + ramki/maski z etapów 1 i 2
wyjście: opis każdej klatki, opisy poszczególnych obiektów, relacje między obiektami („kubek NA stole”)
Rzutowanie etykiet do 3D przy użyciu głębi i pozy kamery
Deduplikacja między ujęciami, budowa repozytorium instancji obiektów
Recenzent poprawia w Roboflow / Labelbox / V7
Poprawki wracają jako sygnał treningowy
lub warunkowanie polityki manipulacji na oznaczonych trajektoriach
Sześcioetapowy potok autoetykietowania — nagranie → ugruntowanie → segmentacja → opis → akumulacja → przegląd → trening
Zanim przejdziemy dalej, warto zwrócić uwagę na kilka kwestii.
Po pierwsze, etapy 1 i 2 są często łączone w Grounded-SAM 2 — otwarty potok od IDEA-Research, który jednym ruchem spina Grounding DINO (albo Florence-2 lub DINO-X) z SAM 2. Skrypt autoetykietujący w tym repozytorium to kanoniczna implementacja zasady „ramki i maski z frazy rzeczownikowej”. Wraz z interfejsem promptów pojęciowych w SAM 3 całość upraszcza się jeszcze bardziej — podaje się słowa, otrzymuje śledzone maski.
Po drugie, etap 3 jest tym kosztownym i tym, w którym wybór modelu ma największe znaczenie. VLM klasy 7B (Qwen2.5-VL 7B, Florence-2 large) wygeneruje spójne opisy tanio, ale przeoczy niuanse. Model klasy 72B tworzy nieporównanie bogatsze opisy, częściej trafnie rozpoznaje relacje i jest znacznie użyteczniejszy w dalszym treningu VLA — przy około 10× wyższym koszcie na klatkę.
Po trzecie, etap 4 to dokładnie to, co w tym kontekście nazywa się „modelem świata”. Nie jest to generatywny model wideo pokroju Cosmos Predict. To trwałe, świadome przestrzeni 3D repozytorium wiedzy o tym, „jakie obiekty istnieją w tym pomieszczeniu, gdzie się znajdują i jak się do siebie odnoszą”. ConceptGraphs to kanoniczna receptura open source; OK-Robot wykazał, że skaluje się ona do około 170 zadań typu pick-and-place w dziesięciu domach. Model świata sprawia, że etykiety są wielokrotnego użytku: gdy robot wróci nazajutrz, nie zaczyna od zera.
W czym VLM-y są dobre, a gdzie zawodzą
Uczciwa tabela, bo materiały marketingowe każdego z tych modeli wprowadzają w błąd w różnych kierunkach:
| Zadanie | Jakość stosu VLM (2026) |
|---|---|
| Detekcja typowych obiektów (kuchnia, biuro) | Doskonała — czułość ponad 90%, niski poziom halucynacji |
| Nowe kategorie w otwartym słowniku | Dobra, ale nierówna — zależy od sformułowania |
| Segmentacja z dokładnością do piksela przy dobrej ramce | Doskonała — SAM 2/3 zasadniczo rozwiązuje ten problem |
| Śledzenie tożsamości w klipie 30 s | Dobra z SAM 3, przeciętna z samym SAM 2 |
| Zliczanie (ile kubków stoi na stole) | Słaba — VLM-y uporczywie halucynują liczby |
| Małe / odległe obiekty | Słaba — poniżej ok. 20 px ramki regularnie znikają |
| Szybki ruch (chwytak, zamach ramienia, upuszczony przedmiot) | Słaba — rozmycie ruchowe zabija zarówno detekcję, jak i segmentację |
| Skrajne oświetlenie (odblaski, słabe światło, podczerwień) | Słaba — rozkład treningowy tego nie obejmuje |
| Powtarzające się identyczne obiekty (ułożone pudła) | Słaba — śledzenie tożsamości gubi się |
| Nowe kategorie z niszowej domeny przemysłowej | Zła — otwarty słownik jest „otwarty” w granicach świata ImageNet |
| Swobodny opis sceny (akapit) | Doskonała — VLM-y klasy 72B są tu naprawdę dobre |
| Relacje przestrzenne (na, pod, za) | Dobra — Qwen2.5-VL radzi sobie z tym niezawodnie |
Najważniejsza uczciwa konstatacja: autoetykiety są zaszumione. W literaturze z lat 2025–2026 detekcja o otwartym słowniku w domenach spoza rozkładu treningowego osiąga 5–15% halucynacji, zależnie od sposobu pomiaru. Praca GroundCount z początku 2026 roku wykazała poprawę dokładności zliczania o 6.6 punktu procentowego wyłącznie dzięki dodaniu jawnego ugruntowania detektorem do VLM — co oznacza, że same VLM-y wciąż istotnie mylą się w liczeniu. Nic z tego nie przekreśla metody, ale oznacza, że czysty, nieweryfikowany potok autoetykietowania nie jest bezpieczny dla danych treningowych o znaczeniu krytycznym dla bezpieczeństwa.
Środkiem zaradczym, który naprawdę działa w praktyce, jest dwupoziomowy przegląd próbkowany: etykietuje się automatycznie wszystko, a następnie wybiera 1–5% klatek do przeglądu przez człowieka na podstawie sygnału niepewności (entropia tokenów VLM, pewność detektora, rozbieżność między modelami). Recenzenci wprowadzają poprawki, które trafiają albo bezpośrednio do danych treningowych, albo jako informacja zwrotna do rekalibracji progów pewności autoetykieciarza. Dokładnie na takiej pętli trenowano sam model Florence-2 — zbiór FLD-5B firmy Microsoft powstał przez kaskadowe łączenie modeli wyspecjalizowanych i następnie próbkowanie do przeglądu.
Zapotrzebowanie na moc obliczeniową — dlaczego to ląduje on-premise
To część, która zaskakuje osoby, które nie przeliczyły tego na liczby.
Weźmy reprezentatywny cel: jedna godzina nagrania z robota przy 10 fps z kamery stereo w rozdzielczości 1080p. To 36,000 klatek. Potrzebne są wszystkie cztery rodzaje etykiet: ramki, maski, opisy i śledzona tożsamość.
Orientacyjny koszt na klatkę na pojedynczej karcie RTX 5090 (32 GB, Blackwell, ~104 TFLOPS FP16):
| Etap | Na klatkę | 36 000 klatek |
|---|---|---|
| Grounding DINO (Tiny) | ~30 ms | ~18 min |
| SAM 2 large, maska + propagacja | ~25 ms | ~15 min |
| Opis z Qwen2.5-VL 7B | ~250 ms | ~2.5 h |
| Opis z Qwen2.5-VL 72B (INT4, wsadowo) | ~1.5–3 s | ~15–30 h |
| Florence-2 large (sam opis) | ~80 ms | ~48 min |
Te liczby mają charakter rzędu wielkości — zakładają rozsądne grupowanie wsadowe, serwowanie przez vLLM oraz kwantyzację FP16/INT4 tam, gdzie to zasadne. Sam SAM 2 osiąga ~44 fps na A100 w pierwotnym teście, więc ~50–60 fps na 5090 jest realistyczne.
Ciekawy jest wiersz dotyczący modelu 72B. Aby uzyskać bogate opisy sceny dla każdej klatki z VLM-a klasy 72B, nie da się tego zrobić w czasie rzeczywistym na jednym GPU. Pozostają opcje:
- Mocne podpróbkowanie — opisywanie co dziesiątej klatki i interpolacja reszty. Tak w praktyce robi większość potoków produkcyjnych.
- Użycie mniejszego VLM-a (klasa 7B–11B) do każdej klatki i zarezerwowanie modelu 72B wyłącznie dla klatek kluczowych.
- Dołożenie kolejnych GPU — a wtedy osiem kart 5090 w jednej obudowie staje się dolną granicą praktycznego zakresu.
Łączny koszt pełnego przebiegu autoetykietowania godziny nagrania przy 10 fps z modelem 72B w pętli to mniej więcej 4–8 godzin GPU na konsumenckim krzemie Blackwell, a obudowa Kentino AI 256 z 8× 5090 kończy go w czasie rzeczywistym znacznie poniżej godziny dzięki zrównolegleniu na wiele GPU.
Teraz rachunek chmurowy. To samo obciążenie u hiperskalera:
- Moc obliczeniowa: porównywalna, przy cenach spot być może tańsza.
- Transfer danych na zewnątrz: brutalny. Godzinne nagranie stereo 1080p przy 10 fps to ~30–80 GB surowych danych, więcej jeśli zachowuje się głębię. Przechowywanie ich w chmurze i pobieranie etykiet z powrotem kosztuje centy przy wejściu i dziesiątki dolarów przy wyjściu na każdy przebieg. Praca Robo-DM z Berkeley z 2025 roku zmierzyła to wprost: przechowywanie 8.9 TB danych Open-X w Google Cloud kosztuje 172 USD miesięcznie, ale każde pełne pobranie kosztuje od 172 do 1,540 USD, zależnie od klasy usługi. Przeskalowanie tego na flotę nagrywającą setki godzin tygodniowo sprawia, że sam transfer wychodzący przekracza w ciągu roku amortyzację nakładów na jeden serwer on-premise.
- Opóźnienie w pętli: duże. Sensem autoetykietowania jest zamknięta pętla — nagranie dziś, etykietowanie w nocy, dostrajanie jutro, wypchnięcie lepszej polityki do rana. Obieg przez chmurę dodaje godziny przesyłania przy typowym łączu laboratoryjnym.
- Prywatność: problem. Ten sam argument o danych podlegających regulacjom z artykułu R08 obowiązuje również tutaj. Surowe wideo z robota w sali pacjenta, na hali fabrycznej czy w laboratorium obronnym nie trafia na cudze GPU.
Dlatego każde poważne laboratorium robotyczne w 2026 roku ma własną moc obliczeniową do autoetykietowania. Kentino AI 256 Turin Dual z 8× RTX 5090 jest zwymiarowany niemal dokładnie pod to obciążenie — 256 GB pamięci systemowej, osiem GPU na równoległe etapy potoku, NVMe na gorącą warstwę zbioru danych. Konfiguracja z 4× RTX Pro 6000 Blackwell to ścieżka rozbudowy, gdy zespół chce uruchamiać model 72B w FP16 zamiast INT4 i utrzymywać w pamięci więcej modeli równocześnie.
Zamknięta pętla
Nakłady na infrastrukturę on-premise zwracają się nie dzięki samemu autoetykietowaniu — lecz dzięki pętli, którą ono umożliwia.
Dzienna zamknięta pętla — nagranie → autoetykietowanie → przegląd → dostrajanie → walidacja → wdrożenie
To właśnie pod tę pętlę zaprojektowano recepturę OpenVLA-OFT (marzec 2025): dostrajanie 25–50× szybsze niż w klasycznym OpenVLA, pomyślane tak, by zmieściło się na pojedynczym serwerze GPU klasy stacji roboczej. FLaRe (ICRA 2025) jest jej odpowiednikiem w uczeniu ze wzmocnieniem. Prace nad uczeniem ciągłym w oparciu o adaptery (OMLA, LifeLong-RFT) pozwalają adaptować model bez katastrofalnego zapominania.
Nic z tego nie działa w rytmie obiegu przez chmurę. Wartością jest pętla, a pętla wymaga, by dane i moc obliczeniowa znajdowały się w tym samym budynku.
Konkretny przykład — humanoid domowy
Dla konkretu wyobraźmy sobie najprostszy sensowny potok autoetykietowania dla humanoida wykonującego zadania domowe (załadowanie zmywarki, składanie prania, przynoszenie przedmiotów z oznaczonego pojemnika).
Nagrywanie: humanoid ma kamery stereo RGB przy 30 fps, kamery nadgarstkowe przy 15 fps, głębię ze stereo aktywnego i stany przegubów przy 200 Hz. Dwugodzinna sesja daje ~250 GB surowych danych na pokładowym NVMe.
Synchronizacja: po zakończeniu sesji robot przesyła dane na laboratoryjny serwer Kentino AI przewodowo lub przez Wi-Fi 6E, ~5–10 minut na 250 GB.
Etapy 1+2 (Grounded-SAM 2): detekcja o otwartym słowniku ze słownikiem domenowym liczącym około 200 rzeczowników domowych („kubek”, „łopatka”, „kosz na pranie”, „niebieska ścierka”…) oraz własnych efektorów agenta. SAM 2 propaguje maski przez klipy. Czas rzeczywisty na 8× 5090: ~45 minut.
Etap 3 (Qwen2.5-VL): VLM 7B dla każdej klatki z krótkim opisem, 72B co dziesiątą klatkę dla bogatszego opisu wraz z relacjami między obiektami. Czas rzeczywisty: ~3 godziny.
Etap 4 (graf sceny): akumulator w stylu ConceptGraphs buduje trwały graf sceny 3D mieszkania. Do końca tygodnia każdy obiekt, który robot zobaczył, ma w grafie stabilny identyfikator, opisy językowe i zgrubną pozycję 3D. Czas rzeczywisty: kilka minut na sesję, amortyzowane.
Etap 5 (przegląd): wewnętrzne narzędzie wyświetla klatki, w których pewność klasy wskazana przez VLM wynosi < 0.6 albo w których etap 1 i etap 3 różnią się co do klasy. Recenzent obsługuje ~500 klatek na godzinę. Przy 5% próbkowaniu dwugodzinnej sesji daje to mniej więcej godzinę pracy człowieka dziennie.
Etap 6 (trening): poprawione etykiety zasilają dostrajanie VLA w stylu OFT. Serwer Kentino AI wykonuje to nocą na tym samym sprzęcie, który prowadził autoetykietowanie — obciążenia są uszeregowane w czasie, a nie równoległe.
To nie jest akademicki eksperyment myślowy. Tak w 2026 roku naprawdę pracują 1X, Skild AI i opublikowane zespoły korzystające z OpenVLA, z dokładnością do wewnętrznych wariantów. Potok jest otwarty, modele są otwarte, wąskim gardłem jest moc obliczeniowa i nakład pracy inżynierskiej — nie dostęp do algorytmów.
Uczciwe ograniczenia
Trzy kwestie, których ten artykuł nie powinien przemilczeć:
Halucynacje są realne i uporczywe. Nawet przy dwupoziomowym przeglądzie nie można ufać niezweryfikowanym autoetykietom w treningu krytycznym dla bezpieczeństwa (unikanie kolizji, decyzje o kontakcie, wszystko, gdzie błędna etykieta mogłaby zaszkodzić robotowi lub człowiekowi). Nadają się do treningu zdolności, nie do treningu bezpieczeństwa. Dla bezpieczeństwa nadal potrzebne są dane kurowane.
Ugruntowanie poza rozkładem treningowym degraduje się szybko. VLM trenowany głównie na obrazach z sieci będzie doskonały w kuchniach i biurach, a zauważalnie gorszy na hali z obrabiarkami CNC czy na oddziale szpitalnym. Rozwiązaniem jest dostrojenie samego autoetykieciarza do domeny, co wiąże się z własnym kosztem.
Model świata jest wrażliwy na zmiany otoczenia. ConceptGraphs i podobne rozwiązania zakładają, że świat między wizytami jest z grubsza statyczny. Po przestawieniu mebli graf sceny trzeba odbudować lub agresywnie zweryfikować. Trwają nad tym aktywne prace (grafy sceny o otwartym słowniku budowane online, m.in. praca Naver Labs z 2025 roku), ale model świata należy traktować jako wskazówkę, a nie jako źródło rozstrzygające.
Szacunki mocy obliczeniowej są tu zgrubne. Wszystkie liczby na klatkę zależą od strategii grupowania wsadowego, kwantyzacji, długości promptu i rozdzielczości obrazu. Tabelę należy traktować jako rząd wielkości. To właśnie rząd wielkości ma znaczenie przy doborze maszyny.
Co dalej
Przy ocenie, czy warto uruchomić własny stos autoetykietowania:
- Należy ustalić, co faktycznie ma zostać oznaczone. Same ramki i maski — wystarczy Grounded-SAM 2 na jednym GPU. Opisy i relacje — potrzebny jest VLM minimum klasy 7B–11B. Bogate opisy do treningu VLA — potrzebna jest klasa 72B i uczciwe zaplanowanie budżetu godzin GPU.
- Warto przeprowadzić audyt własnej domeny. Czy interesujące Państwa obiekty mieszczą się w rozkładzie treningowym detektorów o otwartym słowniku? Przy pracy głównie w kuchniach, biurach lub magazynach — tak. W specjalistycznych domenach przemysłowych lub medycznych — należy zaplanować dostrojenie autoetykieciarza, zanim obdarzy się go zaufaniem.
- Warstwę przeglądu trzeba zaplanować od pierwszego dnia. Należy wybrać narzędzie (Roboflow, Labelbox, V7 lub własne, z próbkowaniem według niepewności) i przewidzieć co najmniej jeden etat recenzenta na każde dziesięć robotogodzin nagrań dziennie. Potok autoetykietowania nie zastępuje ludzi, zmienia to, czym ludzie się zajmują.
- Moc obliczeniową należy wymiarować pod krok 72B. Pozostałe etapy zmieszczą się na czymkolwiek. To VLM klasy 72B w skali jest pozycją, która uzasadnia serwer z 8 GPU. Jeśli potok korzysta wyłącznie z VLM-ów klasy 7B, wystarczy maszyna z 4 GPU. Jeśli pożądane są bogatsze opisy i rytm dostrajania w zamkniętej pętli — potrzebna jest konfiguracja z 8 GPU.
- Warstwę gorącą warto umieścić na NVMe, a zimną na dyskach talerzowych. Tydzień nagrań z floty to terabajty. Przy mniejszych modelach autoetykieciarz jest częściej ograniczony przez wejście-wyjście niż przez moc GPU.
W ofercie Kentino znajduje się Kentino AI 256 Turin Dual / 8× RTX 5090 zwymiarowany pod to obciążenie po stronie krzemu konsumenckiego oraz Kentino AI 4× RTX Pro 6000 Blackwell po stronie większej ilości VRAM, gdy pożądane jest równoczesne utrzymywanie w pamięci kilku dużych VLM-ów. Ceny i szczegóły konfiguracji znajdują się na odpowiednich stronach produktowych oraz w przyszłym artykule I05, który omawia pełną konfigurację referencyjną.
Czoło tego stosu przesuwa się co kwartał — SAM 3 ma pół roku, Qwen3-VL dopiero się ukazał, Cosmos Reason 2 jest świeży — więc konkretne modele wymienione w artykule zdezaktualizują się szybciej niż architektura. Sama architektura jest już stabilna. Ramki, maski, opisy, graf sceny, przegląd, trening, wdrożenie. Ta pętla nigdzie się nie wybiera.
To część Kentino Wiki, serii referencyjnej poświęconej mocy obliczeniowej AI, robotyce i systemom, które je łączą. Komentarze i sprostowania prosimy kierować na adres info@kentino.com.