Die Umgebung automatisch labeln: VLM-gesteuerte Weltmodelle für Roboter
Teilen
Im Jahr 2023 kostete ein belastbarer Datensatz für Haushaltsroboter noch tausend Personenstunden: Annotatoren zogen von Hand Rahmen um Tassen und Stühle. 2026 entsteht derselbe Datensatz über Nacht – erzeugt von einem Stapel Vision-Language-Modelle auf einem einzigen Server mit acht GPUs. Der Mensch bleibt im Prozess, aber nur noch als Prüfer einer Stichprobe, nicht als primärer Labeler. Dieser Artikel handelt von diesem Wandel: was „Autolabeling" für einen Roboter heute konkret bedeutet, wie die Pipeline aussieht, wo sie versagt – und warum ausgerechnet der Rechenbedarf darüber entscheidet, ob Ihr Team das überhaupt stemmen kann.
Dieser Beitrag gehört zum Robotik-Track des Kentino Wiki. Er verweist auf R08 (Latenzargument für dedizierte Edge-Rechenleistung) und I01 (Edge-KI-Architektur mit On-Premise-Inferenz). Ein künftiger Beitrag I05 wird den Referenzaufbau vorstellen, der genau auf diesen Workload zugeschnitten ist.
Was Autolabeling in der Robotik bedeutet
Die klassische Computer-Vision-Pipeline ging davon aus, dass Labels knapp und teuer sind. Ein Begrenzungsrahmen um eine „Tasse" kostete einen Menschen zehn Sekunden und ein paar Cent. Eine pixelgenaue Segmentierungsmaske kostete eine Minute und einen Dollar. Eine Bild-für-Bild-Maske über einen dreißig Sekunden langen Videoclip kostete so viel wie ein Kleinwagen.
Robotik-Datensätze sind für dieses Modell schlicht untragbar. Ein einzelner Vierbeiner erzeugt bei einer dreißigminütigen Kartierungsfahrt mit 30 fps 54,000 Einzelbilder. Eine Humanoid-Teleoperation über einen Arbeitstag produziert Hunderttausende. Jedes Bild braucht idealerweise:
- Objekt-Begrenzungsrahmen (Open Vocabulary, nicht nur die 80 COCO-Klassen)
- Instanz-Segmentierungsmasken (damit die Policy über greifbare Regionen schließen kann)
- Eine Szenenbeschreibung in natürlicher Sprache (damit ein VLA darauf konditioniert werden kann)
- Über Bilder hinweg verfolgte Identitäten (damit „die rote Tasse" dieselbe Tasse bleibt)
- Optional: 3D-Positionsschätzungen, fusioniert mit Tiefendaten oder LiDAR
Für all das bricht die Ökonomie menschlicher Annotation schon beim tausendsten Bild zusammen. „Autolabeling" ist der Sammelbegriff dafür, Foundation Models – VLMs, Open-Vocabulary-Detektoren, promptbare Segmentierer – einzusetzen, um diese Labels im Tempo der Inferenz statt im Tempo eines klickenden Menschen zu erzeugen.
Der Wandel seit 2023 ist nicht philosophisch, sondern mechanisch. Drei Dinge haben sich innerhalb derselben achtzehn Monate verändert:
- Open-Vocabulary-Erkennung wurde brauchbar. Grounding DINO, OWLv2 und Florence-2 entwickelten sich zwischen Mitte 2024 und Ende 2025 von der „interessanten Demo" zu „produktionsreif für rund 80 % der gängigen Objekte".
- Promptbare Videosegmentierung kam an. SAM 2 (Mitte 2024) und nun SAM 3 (veröffentlicht im November 2025) machten es günstig, Masken anhand eines Substantiv-Prompts durch ein Video zu verfolgen. SAM 3 nimmt sogar Konzept-Prompts direkt entgegen – „gelber Schulbus" – und liefert Masken samt stabiler Identitäten zurück.
- VLMs wurden geerdet. Qwen2.5-VL (Anfang 2025) und die nachfolgenden Qwen3-VL-Familien geben Begrenzungsrahmen auf dem tatsächlichen Pixelraster in stabilem JSON aus. Sie können ein 72B-VLM mit „Liste jedes Objekt in diesem Bild als JSON mit bbox und einer Beschreibung in einem Satz" prompten und erhalten etwas zurück, das direkt in eine Trainingsschleife fließen kann.
Der Stand der Technik 2026 ist kein einzelnes Modell – es ist eine zusammengesetzte Pipeline.
Aufbau der Pipeline
Der Referenz-Stack für Autolabeling sieht so aus:
Auf lokale NVMe gespeichert, danach auf den Server synchronisiert
rein: Einzelbild + Vokabular für Bildunterschriften (oder freie, VLM-generierte Beschreibung)
raus: Begrenzungsrahmen + Klassenlabels pro Einzelbild
raus: Masken je Instanz, über den gesamten Clip verfolgte Identität
rein: Einzelbild + Rahmen/Masken aus Stufe 1+2
raus: Beschreibung je Bild, Beschreibung je Objekt, Objektbeziehungen („Tasse AUF Tisch")
Labels über Tiefe + Kamerapose in den 3D-Raum projizieren
Über Ansichten hinweg entdoppeln, Objektinstanz-Speicher aufbauen
Prüfer korrigiert in Roboflow / Labelbox / V7
Korrekturen fließen als Trainingssignal zurück
oder Konditionierung einer Manipulations-Policy auf die gelabelten Trajektorien
Sechsstufige Autolabeling-Pipeline – aufzeichnen → erden → segmentieren → beschreiben → akkumulieren → prüfen → trainieren
Bevor wir weitergehen, lohnen sich ein paar Anmerkungen.
Erstens: Stufe 1 und 2 werden häufig zu Grounded-SAM 2 zusammengefasst, der offenen Pipeline von IDEA-Research, die Grounding DINO (oder Florence-2 oder DINO-X) in einem Zug mit SAM 2 verdrahtet. Das Autolabel-Skript in jenem Repository ist die kanonische Umsetzung von „Rahmen und Masken aus einer Substantivphrase". Mit der Konzept-Prompt-Schnittstelle von SAM 3 schrumpft das weiter zusammen – Sie geben die Wörter vor und erhalten verfolgte Masken zurück.
Zweitens: Stufe 3 ist die teure und die, bei der die Modellwahl am stärksten ins Gewicht fällt. Ein 7B-VLM (Qwen2.5-VL 7B, Florence-2 large) liefert günstig stimmige Beschreibungen, übersieht aber Feinheiten. Ein Modell der 72B-Klasse erzeugt deutlich reichhaltigere Beschreibungen, trifft Relationen häufiger korrekt und ist für nachgelagertes VLA-Training weitaus nützlicher – zu ungefähr dem Zehnfachen der Kosten pro Einzelbild.
Drittens: Stufe 4 ist das, was Leute in diesem Kontext mit „Weltmodell" meinen. Es handelt sich nicht um ein generatives Videomodell wie Cosmos Predict, sondern um einen dauerhaften, 3D-bewussten Speicher darüber, „welche Objekte es in diesem Raum gibt, wo sie sich befinden und wie sie zueinander stehen". ConceptGraphs ist das kanonische Open-Source-Rezept; OK-Robot hat gezeigt, dass es auf rund 170 Pick-and-Place-Aufgaben in zehn Wohnungen skaliert. Das Weltmodell macht die Labels wiederverwendbar: Kommt der Roboter morgen zurück, beginnt er nicht bei null.
Was VLMs gut können – und wo sie scheitern
Eine ehrliche Tabelle, denn das Marketingmaterial zu jedem dieser Modelle führt in jeweils eigener Richtung in die Irre:
| Aufgabe | Qualität des VLM-Stacks (2026) |
|---|---|
| Erkennung gängiger Objekte (Küche, Büro) | Hervorragend – über 90 % Recall, wenig Halluzination |
| Neue Kategorien mit offenem Vokabular | Gut, aber ungleichmäßig – hängt von der Formulierung ab |
| Pixelgenaue Segmentierung bei gutem Rahmen | Hervorragend – SAM 2/3 gilt praktisch als gelöst |
| Identitätsverfolgung über einen 30-s-Clip | Gut mit SAM 3, mittelmäßig mit SAM 2 allein |
| Zählen (wie viele Tassen stehen auf dem Tisch) | Schwach – VLMs halluzinieren Anzahlen hartnäckig |
| Kleine / weit entfernte Objekte | Schwach – Rahmen fallen unterhalb von rund 20 px zuverlässig aus |
| Schnelle Bewegung (Greifer, geschwenkter Arm, fallendes Objekt) | Schwach – Bewegungsunschärfe ruiniert Erkennung und Segmentierung |
| Extreme Lichtverhältnisse (Blendung, Dämmerlicht, IR) | Schwach – die Trainingsverteilung deckt das nicht ab |
| Wiederholte identische Objekte (gestapelte Kisten) | Schwach – die Identitätsverfolgung kommt durcheinander |
| Neue Kategorien aus einer industriellen Nische | Ungenügend – „offenes" Vokabular ist offen innerhalb der ImageNet-Welt |
| Freie Szenenbeschreibung (ein Absatz) | Hervorragend – 72B-VLMs sind hier wirklich stark |
| Räumliche Relationen (auf, unter, hinter) | Gut – Qwen2.5-VL beherrscht das zuverlässig |
Die mit Abstand wichtigste ehrliche Feststellung: Autolabels sind verrauscht. Quer durch die Literatur von 2025–2026 liegt die Open-Vocabulary-Erkennung in Domänen außerhalb der Trainingsverteilung je nach Messmethode bei 5–15 % Halluzination. Die GroundCount-Arbeit von Anfang 2026 berichtete allein durch explizites Detektor-Grounding eines VLM von 6,6 Prozentpunkten mehr Genauigkeit beim Zählen – was heißt: VLMs allein liegen bei Anzahlen weiterhin deutlich daneben. Nichts davon ist ein K.-o.-Kriterium, aber es bedeutet, dass eine reine, ungeprüfte Autolabel-Pipeline für sicherheitskritische Trainingsdaten nicht tragfähig ist.
Was in der Praxis wirklich hilft, ist die zweistufige Stichprobenprüfung: Sie labeln alles automatisch und ziehen anschließend 1–5 % der Bilder anhand eines Unsicherheitssignals (Token-Entropie des VLM, Detektorkonfidenz, Uneinigkeit mehrerer Modelle) zur menschlichen Prüfung. Die Prüfer korrigieren, und diese Korrekturen dienen entweder direkt als Trainingsdaten oder als Rückmeldung, um die Konfidenzschwellen des Autolabelers neu zu kalibrieren. Es ist genau die Schleife, mit der Florence-2 selbst trainiert wurde – Microsofts Datensatz FLD-5B entstand durch kaskadierte Spezialmodelle mit anschließender Stichprobenprüfung.
Rechenbedarf – warum das On-Premise landet
Das ist der Teil, der alle überrascht, die noch nicht nachgerechnet haben.
Nehmen wir ein repräsentatives Ziel: eine Stunde Robotermaterial mit 10 fps von einer Stereokamera in 1080p. Das sind 36,000 Einzelbilder. Sie wollen alle vier Labeltypen: Rahmen, Masken, Beschreibungen, verfolgte Identität.
Grobe Kosten pro Einzelbild auf einer einzelnen RTX 5090 (32 GB, Blackwell, ~104 TFLOPS FP16):
| Stufe | Pro Einzelbild | 36 000 Einzelbilder |
|---|---|---|
| Grounding DINO (Tiny) | ~30 ms | ~18 Min. |
| SAM 2 large, Maske + Propagation | ~25 ms | ~15 Min. |
| Qwen2.5-VL 7B, Beschreibung | ~250 ms | ~2,5 Std. |
| Qwen2.5-VL 72B, Beschreibung (INT4, Batch) | ~1.5–3 s | ~15–30 Std. |
| Florence-2 large (nur Beschreibung) | ~80 ms | ~48 Min. |
Diese Zahlen sind Größenordnungen – sie setzen vernünftiges Batching, vLLM-Serving und je nach Fall FP16/INT4-Quantisierung voraus. SAM 2 allein läuft im ursprünglichen Benchmark mit rund 44 fps auf einer A100, auf einer 5090 sind also realistisch 50–60 fps drin.
Die spannende Zeile ist das 72B-VLM. Wenn Sie für jedes Einzelbild reichhaltige Szenenbeschreibungen aus einem Modell der 72B-Klasse wollen, schaffen Sie das auf einer einzelnen GPU nicht in Echtzeit. Sie haben dann die Wahl:
- Kräftig unterabtasten – nur jedes zehnte Bild beschreiben, den Rest interpolieren. Genau das tun die meisten Produktions-Pipelines tatsächlich.
- Ein kleineres VLM (7B–11B-Klasse) für jedes Einzelbild einsetzen und das 72B-Modell den Keyframes vorbehalten.
- Mehr GPUs draufwerfen – womit acht 5090 in einem Gehäuse das untere Ende des praktikablen Bereichs markieren.
Die Gesamtkosten eines vollständigen Autolabel-Durchlaufs über eine Stunde Material mit 10 fps und 72B-Modell in der Schleife liegen bei ungefähr 4–8 GPU-Stunden auf Consumer-Blackwell-Silizium, und das Gehäuse Kentino AI 256 mit 8× 5090 schafft das durch Parallelisierung über die GPUs in deutlich unter einer Stunde reiner Laufzeit.
Nun die Cloud-Rechnung. Derselbe Workload bei einem Hyperscaler:
- Rechenleistung: vergleichbar, bei Spot-Preisen womöglich günstiger.
- Datenausgang: brutal. Eine Stunde Stereoaufnahme in 1080p mit 10 fps ergibt roh rund 30–80 GB, mehr, wenn Sie die Tiefendaten behalten. Das Ablegen in der Cloud kostet auf dem Hinweg Cent-Beträge, das Zurückholen der Labels je Durchlauf Dutzende Dollar. Die Robo-DM-Arbeit aus Berkeley von 2025 hat das ausdrücklich gemessen: 8,9 TB Open-X-Daten auf Google Cloud zu speichern kostet 172 $ pro Monat, jeder vollständige Download aber 172–1.540 $ je nach Tarifstufe. Skalieren Sie das auf eine Flotte, die pro Woche Hunderte Stunden aufzeichnet, und allein der Datenausgang übersteigt binnen eines Jahres die Abschreibung eines einzelnen On-Premise-Servers.
- Latenz der Schleife: lang. Der Sinn des Autolabelings ist die geschlossene Schleife – heute aufzeichnen, nachts labeln, morgen feinabstimmen, am Folgemorgen die verbesserte Policy ausrollen. Ein Cloud-Umweg addiert über eine typische Labor-Uplink-Anbindung Stunden an Uploadzeit.
- Datenschutz: ein Problem. Dasselbe Argument regulierter Daten aus R08 gilt auch hier. Rohes Robotervideo aus einem Patientenzimmer, einer Fertigungshalle oder einem Verteidigungslabor geht auf niemandes fremde GPU.
Deshalb besitzt 2026 jedes ernsthafte Robotiklabor seine Autolabeling-Rechenleistung selbst. Der Kentino AI 256 Turin Dual mit 8× RTX 5090 ist nahezu exakt auf diesen Workload ausgelegt – 256 GB Systemspeicher, acht GPUs für parallele Pipeline-Stufen, NVMe für den heißen Datensatz-Tier. Die Konfiguration mit 4× RTX Pro 6000 Blackwell ist der Aufrüstpfad, wenn das Team das 72B-Modell in FP16 statt INT4 fahren und mehr Modelle gleichzeitig im Speicher halten will.
Die geschlossene Schleife
Der On-Premise-Aufwand rechnet sich nicht wegen des Autolabelings selbst – sondern wegen der Schleife, die es ermöglicht.
Tägliche geschlossene Schleife – aufzeichnen → automatisch labeln → prüfen → feinabstimmen → validieren → ausrollen
Für genau diese Schleife wurde das OpenVLA-OFT-Rezept (März 2025) entworfen: 25- bis 50-mal schnellere Feinabstimmung als das ursprüngliche OpenVLA, ausgelegt auf einen einzelnen GPU-Server in Workstation-Klasse. FLaRe (ICRA 2025) ist das Gegenstück aus dem Reinforcement Learning. Arbeiten zum kontinuierlichen Lernen mit adapterbasierter Feinabstimmung (OMLA, LifeLong-RFT) erlauben Anpassungen ohne katastrophales Vergessen.
Nichts davon funktioniert im Takt von Cloud-Umwegen. Die Schleife ist der Wert, und die Schleife verlangt, dass Daten und Rechenleistung im selben Gebäude stehen.
Ein konkretes Beispiel – Haushaltshumanoid
Um es greifbar zu machen: Stellen Sie sich die einfachste tragfähige Autolabel-Pipeline für einen Humanoiden vor, der Haushaltsaufgaben erledigt (Spülmaschine einräumen, Wäsche falten, Gegenstände aus einer beschrifteten Kiste holen).
Aufzeichnung: Der Humanoid verfügt über Stereo-RGB-Kameras mit 30 fps, Handgelenkkameras mit 15 fps, Tiefendaten aus aktivem Stereo und Gelenkzustände mit 200 Hz. Eine zweistündige Sitzung erzeugt rund 250 GB Rohdaten auf der bordeigenen NVMe.
Synchronisation: Am Ende der Sitzung lädt der Roboter über Kabel oder Wi-Fi 6E auf den Kentino KI-Server des Labors hoch – rund 5–10 Minuten für 250 GB.
Stufe 1+2 (Grounded-SAM 2): Open-Vocabulary-Erkennung mit einem Domänenvokabular von etwa 200 Haushaltsbegriffen („Tasse", „Pfannenwender", „Wäschekorb", „blaues Geschirrtuch" …) plus den eigenen Endeffektoren des Agenten. SAM 2 propagiert die Masken durch die Clips. Laufzeit auf 8× 5090: rund 45 Minuten.
Stufe 3 (Qwen2.5-VL): 7B-VLM für jedes Einzelbild für eine knappe Beschreibung, 72B-Modell für jedes zehnte Bild für eine reichere Beschreibung samt Objektbeziehungen. Laufzeit: rund 3 Stunden.
Stufe 4 (Szenengraph): Ein Akkumulator im Stil von ConceptGraphs baut einen dauerhaften 3D-Szenengraphen der Wohnung auf. Am Ende der Woche lebt jedes Objekt, das der Roboter gesehen hat, mit stabiler ID, sprachlichen Deskriptoren und grober 3D-Position im Graphen. Laufzeit: wenige Minuten pro Sitzung, amortisiert.
Stufe 5 (Prüfung): Ein internes Werkzeug hebt Bilder hervor, bei denen die Klassenkonfidenz des VLM < 0,6 liegt oder Stufe 1 und Stufe 3 sich bei einer Klasse uneinig sind. Ein Prüfer schafft rund 500 Bilder pro Stunde. Bei 5 % Stichprobenquote auf einer zweistündigen Sitzung sind das etwa eine Stunde Menschenzeit pro Tag.
Stufe 6 (Training): Die korrigierten Labels fließen in eine Feinabstimmung des VLA im OFT-Stil. Der Kentino KI-Server erledigt das über Nacht auf derselben Hardware, die das Autolabeling übernommen hat – die Workloads laufen nacheinander, nicht gleichzeitig.
Das ist kein Gedankenexperiment aus der Forschung. Genau so arbeiten 1X, Skild AI und die veröffentlichten Gruppen rund um OpenVLA im Jahr 2026, bis auf interne Abweichungen. Die Pipeline ist offen, die Modelle sind offen, der Engpass sind Rechenleistung und Entwicklungsaufwand – nicht der Zugang zu den Algorithmen.
Ehrliche Grenzen
Drei Dinge, die dieser Artikel nicht unerwähnt lassen darf:
Halluzination ist real und hartnäckig. Selbst mit zweistufiger Prüfung dürfen Sie ungeprüften Autolabels für sicherheitskritisches Training nicht vertrauen (Kollisionsvermeidung, Kontaktentscheidungen, alles, wo ein falsches Label dem Roboter oder einem Menschen schaden könnte). Nutzen Sie sie für Fähigkeitstraining, nicht für Sicherheitstraining. Für die Sicherheit brauchen Sie weiterhin kuratierte Daten.
Außerhalb der Trainingsverteilung bricht das Grounding schnell ein. Ein überwiegend auf Webbildern trainiertes VLM ist in Küchen und Büros hervorragend und in einer CNC-Werkhalle oder auf einer Krankenhausstation spürbar schwächer. Abhilfe schafft eine domänenspezifische Feinabstimmung des Autolabelers selbst – die wiederum eigene Kosten verursacht.
Das Weltmodell ist anfällig für Veränderungen der Umgebung. ConceptGraphs und Verwandte setzen voraus, dass die Welt zwischen zwei Besuchen weitgehend statisch bleibt. Rücken Sie die Möbel um, muss der Szenengraph neu aufgebaut oder konsequent neu validiert werden. Daran wird aktiv gearbeitet (Online-Szenengraphen mit offenem Vokabular, unter anderem die Arbeit von Naver Labs aus 2025), doch behandeln Sie das Weltmodell als Hinweis, nicht als verbindliche Wahrheit.
Die Rechenschätzungen hier sind grob. Sämtliche Werte pro Einzelbild hängen von Batching-Strategie, Quantisierung, Promptlänge und Bildauflösung ab. Nehmen Sie die Tabelle als Größenordnung. Und die Größenordnung ist genau das, worauf es bei der Dimensionierung der Maschine ankommt.
Wie Sie weiter vorgehen
Wenn Sie abwägen, ob Sie einen Autolabeling-Stack aufbauen sollen:
- Klären Sie, was tatsächlich gelabelt werden muss. Nur Rahmen und Masken – dafür genügt Grounded-SAM 2 auf einer einzelnen GPU. Beschreibungen und Relationen – dafür brauchen Sie mindestens ein VLM der 7B–11B-Klasse. Reichhaltige Beschreibungen für VLA-Training – dafür brauchen Sie die 72B-Klasse und müssen die GPU-Stunden ehrlich einplanen.
- Prüfen Sie Ihre Domäne. Liegen die Objekte, auf die es Ihnen ankommt, in der Trainingsverteilung der Open-Vocabulary-Detektoren? Wenn Sie überwiegend in Küchen, Büros oder Lagerhallen arbeiten – ja. Bei industriellen oder medizinischen Spezialdomänen planen Sie eine Feinabstimmung des Autolabelers ein, bevor Sie ihm vertrauen.
- Planen Sie die Prüfebene von Tag eins an. Wählen Sie ein Werkzeug (Roboflow, Labelbox, V7 oder eine Eigenentwicklung mit unsicherheitsbasierter Stichprobe) und kalkulieren Sie mindestens eine Prüfer-Vollzeitstelle je zehn aufgezeichneten Roboterstunden pro Tag. Die Autolabel-Pipeline ersetzt keine Menschen, sie verändert, was Menschen tun.
- Dimensionieren Sie die Rechenleistung nach der 72B-Stufe. Die übrigen Stufen laufen auf allem. Das 72B-VLM im Maßstab ist der Posten, der den Server mit acht GPUs rechtfertigt. Nutzt Ihre Pipeline ausschließlich VLMs der 7B-Klasse, genügt eine Maschine mit vier GPUs. Wollen Sie die reicheren Beschreibungen und den Takt der geschlossenen Feinabstimmungsschleife, wollen Sie die Konfiguration mit acht GPUs.
- Legen Sie den heißen Speicher auf NVMe und den kalten auf rotierende Platten. Eine Woche Flottenaufzeichnung sind Terabytes. Bei den kleineren Modellen bremst den Autolabeler häufiger die Ein-/Ausgabe als die GPU-Rechenleistung.
Im Kentino-Portfolio ist der Kentino AI 256 Turin Dual / 8× RTX 5090 für diesen Workload am Consumer-Silizium-Ende ausgelegt, und der Kentino AI 4× RTX Pro 6000 Blackwell am VRAM-starken Ende, wenn Sie mehrere große VLMs gleichzeitig im Speicher halten wollen. Preise und Aufbaudetails finden Sie auf den zugehörigen Produktseiten und in einem künftigen Artikel I05, der den vollständigen Referenzaufbau durchgeht.
Die Speerspitze dieses Stacks verschiebt sich jedes Quartal – SAM 3 ist ein halbes Jahr alt, Qwen3-VL gerade erschienen, Cosmos Reason 2 taufrisch –, deshalb werden die konkreten Modelle in diesem Artikel schneller veralten als die Architektur. Die Architektur selbst ist inzwischen stabil. Rahmen, Masken, Beschreibungen, Szenengraph, Prüfung, Training, Rollout. Diese Schleife bleibt.
Dieser Beitrag ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Rechenleistung, Robotik und den Systemen, die beides verbinden. Kommentare und Korrekturen gern an info@kentino.com.