Étiquetage automatique de l'environnement : modèles du monde pilotés par VLM pour les robots

En 2023, un jeu de données crédible sur la robotique domestique exigeait un millier d’heures-personnes d’annotateurs humains traçant des cadres autour de tasses et de chaises. En 2026, le même jeu de données est produit en une nuit par une pile de modèles vision-langage tournant sur un seul serveur à 8 GPU. L’humain reste dans la boucle, mais uniquement comme relecteur d’un échantillon, plus comme annotateur principal. Cet article traite de ce basculement — ce que l’« autolabeling » signifie concrètement pour un robot aujourd’hui, à quoi ressemble le pipeline, où il casse, et pourquoi l’empreinte de calcul est ce qui détermine si votre équipe peut s’y lancer ou non.

Cet article fait partie du volet Robotique du Wiki Kentino. Il renvoie à R08 (l’argument de la latence en faveur d’un calcul dédié en périphérie) et à I01 (architecture d’IA en périphérie avec inférence sur site). Un futur article I05 détaillera la configuration de référence dimensionnée précisément pour cette charge de travail.

Ce que signifie l’autolabeling en robotique

Le pipeline classique de vision par ordinateur partait du principe que les annotations étaient rares et coûteuses. Un cadre de détection autour d’une « tasse » coûtait dix secondes de travail humain et quelques centimes. Un masque de segmentation au pixel près coûtait une minute et un euro. Un masque image par image sur un clip vidéo de trente secondes coûtait le prix d’une petite voiture.

Les jeux de données robotiques sont pathologiques pour ce modèle. Un seul quadrupède en mission de cartographie de trente minutes à 30 fps produit 54,000 images. Une session de téléopération d’un humanoïde sur une journée de travail en produit des centaines de milliers. Idéalement, chaque image demande :

• Des cadres de détection d’objets (à vocabulaire ouvert, pas seulement les 80 classes de COCO)
• Des masques de segmentation d’instances (pour que la politique puisse raisonner sur les zones saisissables)
• Une description de scène en langage naturel (pour qu’un VLA puisse être conditionné dessus)
• Une identité suivie d’une image à l’autre (pour que « la tasse rouge » reste la même tasse)
• En option : des estimations de position 3D, fusionnées avec la profondeur ou le LiDAR

L’économie de l’annotation humaine s’effondre pour chacun de ces points dès le millième cliché. L’« autolabeling » est le terme générique qui désigne l’usage de modèles de fondation — VLM, détecteurs à vocabulaire ouvert, segmenteurs pilotables par prompt — pour produire ces annotations à la vitesse de l’inférence plutôt qu’à celle d’un humain qui clique.

Le basculement depuis 2023 n’est pas philosophique, il est mécanique. Trois choses ont changé dans la même fenêtre de dix-huit mois :

1. La détection à vocabulaire ouvert est devenue utilisable. Grounding DINO, OWLv2 et Florence-2 sont passés de la « démo intéressante » au « niveau production pour environ 80 % des objets courants » entre la mi-2024 et la fin 2025.
2. La segmentation vidéo pilotable par prompt est arrivée. SAM 2 (mi-2024) puis SAM 3 (sorti en novembre 2025) ont rendu peu coûteux le suivi de masques dans une vidéo à partir d’un groupe nominal. SAM 3 accepte en particulier des prompts conceptuels directs — « bus scolaire jaune » — et renvoie des masques assortis d’identités stables.
3. Les VLM sont devenus ancrés. Qwen2.5-VL (début 2025) et les familles Qwen3-VL qui ont suivi produisent des cadres de détection sur la vraie grille de pixels, dans un JSON stable. Vous pouvez demander à un VLM de 72B de « lister chaque objet de cette image en JSON, avec son cadre et une description d’une phrase » et récupérer quelque chose que vous pouvez injecter dans une boucle d’entraînement.

L’état de l’art en 2026 n’est pas un modèle unique — c’est un pipeline composé.

Architecture du pipeline

La pile d’autolabeling de référence ressemble à ceci :

Pipeline d’autolabeling en six étapes — enregistrer → ancrer → segmenter → décrire → accumuler → relire → entraîner

Quelques points méritent d’être soulignés avant d’aller plus loin.

D’abord, les étapes 1 et 2 sont souvent fusionnées dans Grounded-SAM 2, le pipeline ouvert d’IDEA-Research qui relie Grounding DINO (ou Florence-2, ou DINO-X) à SAM 2 d’un seul tenant. Le script d’autolabeling de ce dépôt est l’implémentation canonique du « des cadres et des masques à partir d’un groupe nominal ». Avec l’interface à prompts conceptuels de SAM 3, la fusion va encore plus loin : vous donnez les mots, vous récupérez des masques suivis.

Ensuite, l’étape 3 est la coûteuse et celle où le choix du modèle compte le plus. Un VLM de 7B (Qwen2.5-VL 7B, Florence-2 large) produira des légendes cohérentes pour pas cher, mais passera à côté des subtilités. Un modèle de classe 72B produit des descriptions nettement plus riches, se trompe moins souvent sur les relations et s’avère bien plus utile pour l’entraînement VLA en aval — pour environ 10 fois le coût par image.

Enfin, l’étape 4 est ce que les gens désignent quand ils parlent de « modèle de monde » dans ce contexte. Ce n’est pas un modèle vidéo génératif comme Cosmos Predict. C’est un magasin persistant, conscient de la 3D, de « quels objets existent dans cette pièce, où ils sont, comment ils sont liés ». ConceptGraphs en est la recette open source canonique ; OK-Robot a montré qu’elle passe à l’échelle sur environ 170 tâches de préhension et de dépose dans dix habitations. Le modèle de monde est ce qui rend les annotations réutilisables : quand le robot revient le lendemain, il ne repart pas de zéro.

Ce que les VLM font bien, et là où ils échouent

Un tableau honnête, parce que la documentation marketing de chacun de ces modèles est trompeuse, chacune à sa manière :

Le constat honnête le plus important : les annotations automatiques sont bruitées. Dans l’ensemble de la littérature de 2025-2026, la détection à vocabulaire ouvert sur des domaines hors distribution se situe entre 5 et 15 % d’hallucinations selon la façon de mesurer. L’article GroundCount, paru plus tôt en 2026, rapporte une amélioration de 6.6 points de pourcentage sur la précision de comptage simplement en ajoutant un ancrage explicite par détecteur à un VLM — ce qui signifie que les VLM seuls se trompent encore nettement sur les comptages. Rien de tout cela n’est rédhibitoire, mais cela implique qu’un pipeline d’annotation automatique sans relecture n’est pas sûr pour des données d’entraînement critiques pour la sécurité.

L’atténuation qui fonctionne réellement en pratique est la relecture échantillonnée à deux paliers : vous annotez tout automatiquement, puis vous extrayez 1 à 5 % des images pour relecture humaine sur la base d’un signal d’incertitude (entropie des tokens du VLM, confiance du détecteur, désaccord entre plusieurs modèles). Les relecteurs corrigent, et ces corrections servent soit directement de données d’entraînement, soit de retour pour recalibrer les seuils de confiance de l’annotateur automatique. C’est la même boucle que celle sur laquelle Florence-2 a lui-même été entraîné — le jeu de données FLD-5B de Microsoft a été construit en cascadant des modèles spécialisés, puis en échantillonnant pour relecture.

Empreinte de calcul — pourquoi tout cela finit sur site

C’est la partie qui surprend ceux qui n’ont pas fait les comptes.

Prenons une cible représentative : une heure de vidéo robot à 10 fps depuis une caméra stéréo en 1080p. Cela représente 36,000 images. Vous voulez les quatre types d’annotations : cadres, masques, légendes et identité suivie.

Coût approximatif par image sur une seule RTX 5090 (32 GB, Blackwell, ~104 TFLOPS FP16) :

Ces chiffres sont des ordres de grandeur — ils supposent un traitement par lots raisonnable, un service via vLLM et une quantification FP16/INT4 là où elle s’impose. SAM 2 seul tourne à environ 44 fps sur un A100 dans le benchmark d’origine, donc 50 à 60 fps sur une 5090 est réaliste.

La ligne intéressante est celle du VLM de 72B. Si vous voulez des descriptions de scène riches pour chaque image avec un VLM de classe 72B, vous ne pouvez pas le faire en temps réel sur un seul GPU. Vous avez alors le choix :

1. Sous-échantillonner fortement — ne légender qu’une image sur dix et interpoler le reste. C’est ce que font la plupart des pipelines en production.
2. Utiliser un VLM plus petit (classe 7B à 11B) pour le traitement image par image et réserver le 72B aux images clés.
3. Y consacrer davantage de GPU — et là, huit 5090 dans un même châssis devient le bas de la fourchette praticable.

Le coût cumulé d’une passe complète d’annotation automatique sur une heure de vidéo à 10 fps, avec le 72B dans la boucle, se situe autour de 4 à 8 heures-GPU sur du silicium Blackwell grand public, et le châssis Kentino AI 256 à 8× 5090 en vient à bout en bien moins d’une heure réelle grâce au parallélisme entre GPU.

Passons au calcul côté cloud. La même charge de travail chez un hyperscaler :

• Calcul : comparable, peut-être moins cher au tarif spot.
• Transfert sortant de données : brutal. Un enregistrement stéréo 1080p à 10 fps pendant une heure représente environ 30 à 80 GB bruts, davantage si vous conservez la profondeur. Le stocker dans le cloud puis en extraire les annotations coûte quelques centimes à l’entrée et des dizaines de dollars à la sortie, à chaque passe. L’article Robo-DM de Berkeley, en 2025, l’a mesuré explicitement : stocker 8.9 TB de données Open-X sur Google Cloud coûte 172 $ par mois, mais chaque téléchargement complet coûte de 172 $ à 1,540 $ selon le palier. Rapportez cela à une flotte qui enregistre des centaines d’heures par semaine et le seul transfert sortant dépasse en moins d’un an l’amortissement de l’investissement dans un unique serveur sur site.
• Latence de la boucle : longue. Tout l’intérêt de l’annotation automatique est la boucle fermée — enregistrer aujourd’hui, annoter cette nuit, affiner demain, déployer la politique améliorée au matin. Un aller-retour vers le cloud ajoute des heures de téléversement sur le lien montant d’un laboratoire type.
• Confidentialité : un problème. Le même argument sur les données réglementées, développé dans R08, s’applique ici. Les vidéos brutes d’un robot filmées dans une chambre de patient, sur un plancher d’usine ou dans un laboratoire de défense ne partent pas sur le GPU de quelqu’un d’autre.

C’est pourquoi, en 2026, tout laboratoire de robotique sérieux possède sa propre puissance de calcul pour l’annotation automatique. Le Kentino AI 256 Turin Dual avec 8× RTX 5090 est dimensionné presque exactement pour cette charge de travail — 256 GB de RAM système, huit GPU pour paralléliser les étapes du pipeline, du NVMe pour le palier chaud du jeu de données. La configuration à 4× RTX Pro 6000 Blackwell est la voie d’évolution lorsque l’équipe veut faire tourner le 72B en FP16 plutôt qu’en INT4 et garder davantage de modèles résidents simultanément.

La boucle fermée

Ce qui rentabilise l’empreinte sur site, ce n’est pas l’annotation automatique en elle-même — c’est la boucle qu’elle rend possible.

Boucle fermée quotidienne — enregistrer → annoter → relire → affiner → valider → déployer

C’est la boucle pour laquelle la recette OpenVLA-OFT (mars 2025) a été conçue : un affinage 25 à 50 fois plus rapide que l’OpenVLA d’origine, pensé pour tenir sur un seul serveur GPU de classe station de travail. FLaRe (ICRA 2025) en est l’équivalent par apprentissage par renforcement. Les travaux d’apprentissage continu sur l’affinage par adaptateurs (OMLA, LifeLong-RFT) permettent de s’adapter sans oubli catastrophique.

Rien de tout cela ne fonctionne au rythme des allers-retours vers le cloud. La boucle est la valeur, et la boucle exige que les données et le calcul soient dans le même bâtiment.

Un exemple concret — humanoïde domestique

Pour rendre tout cela concret, imaginons le pipeline d’annotation automatique viable le plus simple pour un humanoïde exécutant des tâches ménagères (charger le lave-vaisselle, plier le linge, aller chercher des objets dans un bac étiqueté).

Enregistrement : l’humanoïde dispose de caméras RGB stéréo à 30 fps, de caméras au poignet à 15 fps, d’une profondeur par stéréo active et d’états articulaires à 200 Hz. Une session de deux heures produit environ 250 GB bruts sur le NVMe embarqué.

Synchronisation : en fin de session, le robot téléverse vers le serveur Kentino AI du laboratoire en filaire ou en Wi-Fi 6E, soit 5 à 10 minutes pour 250 GB.

Étapes 1+2 (Grounded-SAM 2) : détection à vocabulaire ouvert avec un vocabulaire métier d’environ 200 noms d’objets domestiques (« tasse », « spatule », « panier à linge », « torchon bleu »…) auxquels s’ajoutent les effecteurs du robot lui-même. SAM 2 propage les masques à travers les clips. Temps réel sur 8× 5090 : environ 45 minutes.

Étape 3 (Qwen2.5-VL) : VLM de 7B sur chaque image pour une légende brève, 72B sur une image sur dix pour une description plus riche assortie des relations entre objets. Temps réel : environ 3 heures.

Étape 4 (graphe de scène) : un accumulateur de type ConceptGraphs construit un graphe de scène 3D persistant de l’appartement. À la fin de la semaine, chaque objet vu par le robot figure dans le graphe avec un identifiant stable, des descripteurs en langage naturel et une position 3D approximative. Temps réel : quelques minutes par session, amorties.

Étape 5 (relecture) : un outil interne fait remonter les images où la confiance de classe du VLM est < 0.6, ou pour lesquelles l’étape 1 et l’étape 3 ne s’accordent pas sur une classe. Un relecteur traite environ 500 images par heure. Avec un taux d’échantillonnage de 5 % sur une session de deux heures, cela représente à peu près une heure de travail humain par jour.

Étape 6 (entraînement) : les annotations corrigées alimentent un affinage de type OFT du VLA. Le serveur Kentino AI exécute cela pendant la nuit sur le matériel même qui a réalisé l’annotation automatique — les charges sont séquencées, pas simultanées.

Ce n’est pas une expérience de pensée théorique. C’est ce que font réellement 1X, Skild AI et les équipes publiées qui utilisent OpenVLA en 2026, aux variations internes près. Le pipeline est ouvert, les modèles sont ouverts : le goulot d’étranglement, c’est le calcul et l’effort d’ingénierie — pas l’accès aux algorithmes.

Limites assumées

Trois points que cet article ne doit pas laisser passer sans les reconnaître :

L’hallucination est réelle et persistante. Même avec la relecture à deux paliers, vous ne pouvez pas faire confiance à des annotations automatiques non relues pour un entraînement critique pour la sécurité (évitement de collision, décisions de contact, tout ce où une annotation fausse pourrait blesser le robot ou une personne). Servez-vous-en pour l’entraînement aux capacités, pas à la sécurité. Pour la sécurité, il vous faut encore des données soigneusement constituées.

L’ancrage se dégrade vite hors distribution. Un VLM entraîné essentiellement sur des images du web sera excellent dans les cuisines et les bureaux, et nettement moins bon dans un atelier d’usinage CNC ou un service hospitalier. La solution consiste à affiner l’annotateur automatique lui-même sur le domaine visé, ce qui a son propre coût.

Le modèle de monde est fragile au changement d’environnement. ConceptGraphs et ses semblables supposent que le monde reste à peu près statique d’une visite à l’autre. Déplacez les meubles, et le graphe de scène doit être reconstruit ou revalidé en profondeur. Des travaux sont en cours sur ce point (graphes de scène à vocabulaire ouvert en ligne, l’article de Naver Labs de 2025 parmi d’autres), mais traitez le modèle de monde comme une indication, pas comme une référence.

Les estimations de calcul sont ici approximatives. Tous les chiffres par image dépendent de la stratégie de traitement par lots, de la quantification, de la longueur des prompts et de la résolution des images. Prenez le tableau comme un ordre de grandeur. C’est l’ordre de grandeur qui compte pour dimensionner la machine.

Cet article fait partie du Wiki Kentino, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires et corrections bienvenus à info@kentino.com.