Etiquetado automático del entorno: modelos del mundo basados en VLM para robots
Compartir
En 2023, un conjunto de datos creíble de robótica doméstica exigía mil horas-persona de anotadores humanos dibujando cajas alrededor de tazas y sillas. En 2026, ese mismo conjunto de datos se produce de la noche a la mañana con una pila de modelos de visión y lenguaje ejecutándose en un único servidor de 8 GPU. La persona sigue en el bucle, pero solo como revisora de una muestra, no como etiquetadora principal. Este artículo trata de ese cambio: qué significa hoy realmente el «autoetiquetado» para un robot, qué aspecto tiene el pipeline, dónde se rompe y por qué la huella de cómputo es lo que decide si su equipo puede siquiera abordarlo.
Forma parte del itinerario de Robótica de la Wiki de Kentino. Remite a R08 (el argumento de latencia a favor del cómputo dedicado en el borde) e I01 (arquitectura de IA en el borde con inferencia on-premise). Un futuro I05 recorrerá la configuración de referencia dimensionada exactamente para esta carga de trabajo.
Qué significa el autoetiquetado en robótica
El pipeline clásico de visión por computador daba por supuesto que las etiquetas eran escasas y caras. Una caja delimitadora alrededor de una «taza» costaba diez segundos de una persona y unos céntimos. Una máscara de segmentación precisa a nivel de píxel costaba un minuto y un dólar. Una máscara fotograma a fotograma sobre un clip de vídeo de treinta segundos costaba lo que un coche pequeño.
Los conjuntos de datos de robótica son patológicos para ese modelo. Un solo cuadrúpedo en un recorrido de mapeo de treinta minutos a 30 fps produce 54,000 fotogramas. Una sesión de teleoperación de un humanoide durante una jornada laboral produce cientos de miles. Lo ideal es que cada fotograma lleve:
- Cajas delimitadoras de objetos (de vocabulario abierto, no solo las 80 clases de COCO)
- Máscaras de segmentación de instancias (para que la política pueda razonar sobre las regiones agarrables)
- Una descripción de la escena en lenguaje natural (para poder condicionar con ella un VLA)
- Identidad seguida entre fotogramas (para que «la taza roja» siga siendo la misma taza)
- Opcional: estimaciones de posición 3D, fusionadas con profundidad o LiDAR
La economía de la anotación humana se desmorona en cualquiera de esos casos al llegar al primer millar de fotogramas. «Autoetiquetado» es el término paraguas para usar modelos fundacionales —VLM, detectores de vocabulario abierto, segmentadores promptables— y producir esas etiquetas a la velocidad de la inferencia y no a la de una persona haciendo clic.
El cambio desde 2023 no es filosófico, es mecánico. Tres cosas cambiaron en la misma ventana de dieciocho meses:
- La detección de vocabulario abierto se volvió utilizable. Grounding DINO, OWLv2 y Florence-2 pasaron de «demo interesante» a «apta para producción en ~80% de los objetos comunes» entre mediados de 2024 y finales de 2025.
- Llegó la segmentación promptable de vídeo. SAM 2 (mediados de 2024) y ahora SAM 3 (publicado en noviembre de 2025) abarataron el seguimiento de máscaras a lo largo de un vídeo a partir de un prompt con un sintagma nominal. SAM 3 en particular acepta prompts conceptuales directamente —«autobús escolar amarillo»— y devuelve máscaras e identidades estables.
- Los VLM se anclaron. Qwen2.5-VL (principios de 2025) y las familias posteriores Qwen3-VL devuelven cajas delimitadoras sobre la rejilla real de píxeles en JSON estable. Puede pedirle a un VLM de 72B que «liste todos los objetos de esta imagen en JSON con bbox y una descripción de una frase» y recibir algo que se puede canalizar a un bucle de entrenamiento.
El estado del arte en 2026 no es un modelo: es un pipeline compuesto.
Arquitectura del pipeline
La pila de autoetiquetado de referencia es así:
Almacenado en NVMe local y después sincronizado con el servidor
entrada: fotograma + vocabulario de descripción (o descripción libre generada por un VLM)
salida: cajas delimitadoras + etiquetas de clase por fotograma
salida: máscaras por instancia, identidad seguida a lo largo del clip
entrada: fotograma + cajas/máscaras de las etapas 1+2
salida: descripción por fotograma, descripciones por objeto, relaciones entre objetos («taza SOBRE mesa»)
Proyección de las etiquetas en 3D mediante profundidad + pose de cámara
Deduplicación entre vistas, construcción del almacén de instancias de objetos
El revisor corrige en Roboflow / Labelbox / V7
Las correcciones se realimentan como señal de entrenamiento
o condicionamiento de una política de manipulación con las trayectorias etiquetadas
Pipeline de autoetiquetado en seis etapas — registrar → anclar → segmentar → describir → acumular → revisar → entrenar
Merece la pena señalar algunas cosas antes de seguir.
Primero, las etapas 1 y 2 a menudo se funden en Grounded-SAM 2, el pipeline abierto de IDEA-Research que conecta Grounding DINO (o Florence-2 o DINO-X) con SAM 2 de una sola pasada. El script de autoetiquetado de ese repositorio es la implementación canónica de «cajas y máscaras a partir de un sintagma nominal». Con la interfaz de prompts conceptuales de SAM 3 esto se compacta aún más: usted da las palabras y recibe máscaras con seguimiento.
Segundo, la etapa 3 es la cara y aquella en la que la elección del modelo más importa. Un VLM de 7B (Qwen2.5-VL 7B, Florence-2 large) produce descripciones coherentes y baratas, pero se le escapan los matices. Un modelo de clase 72B produce descripciones muchísimo más ricas, acierta más a menudo con las relaciones y resulta mucho más útil para el entrenamiento posterior del VLA, a un coste por fotograma unas 10× mayor.
Tercero, la etapa 4 es lo que la gente quiere decir cuando habla de «modelo del mundo» en este contexto. No es un modelo generativo de vídeo como Cosmos Predict. Es un almacén persistente y consciente del 3D de «qué objetos hay en esta habitación, dónde están y cómo se relacionan». ConceptGraphs es la receta canónica de código abierto; OK-Robot demostró que escala a ~170 tareas de recoger y colocar en diez viviendas. El modelo del mundo es lo que hace reutilizables las etiquetas: cuando el robot vuelve al día siguiente, no empieza de cero.
Qué hacen bien los VLM y dónde fallan
Una tabla honesta, porque el material de marketing de todos estos modelos engaña en direcciones distintas:
| Tarea | Calidad de la pila de VLM (2026) |
|---|---|
| Detección de objetos comunes (cocina, oficina) | Excelente — más del 90% de recall, pocas alucinaciones |
| Categorías nuevas de vocabulario abierto | Buena pero irregular — depende de cómo se formule |
| Segmentación precisa a nivel de píxel con una buena caja | Excelente — SAM 2/3 lo da prácticamente por resuelto |
| Seguimiento de identidad en un clip de 30 s | Buena con SAM 3, mediocre solo con SAM 2 |
| Conteo (cuántas tazas hay en la mesa) | Pobre — los VLM alucinan los recuentos de forma persistente |
| Objetos pequeños / lejanos | Pobre — las cajas fallan por debajo de ~20 px |
| Movimiento rápido (pinza, brazo en movimiento, objeto que cae) | Pobre — el desenfoque de movimiento arruina tanto la detección como la segmentación |
| Iluminación extrema (reflejos, poca luz, IR) | Pobre — la distribución de entrenamiento no cubre esto |
| Objetos idénticos repetidos (cajas apiladas) | Pobre — el seguimiento de identidad se confunde |
| Categorías nuevas de un dominio industrial de nicho | Mala — el vocabulario «abierto» lo es dentro del mundo de ImageNet |
| Descripción libre de la escena (un párrafo) | Excelente — los VLM de 72B son realmente buenos aquí |
| Relaciones espaciales (sobre, debajo, detrás) | Buena — Qwen2.5-VL lo resuelve con fiabilidad |
La afirmación honesta más importante: las autoetiquetas son ruidosas. En la literatura de 2025–2026, la detección de vocabulario abierto en dominios fuera de distribución se sitúa entre un 5 y un 15% de alucinación según cómo se mida. El artículo GroundCount, de principios de 2026, reportó una mejora de 6.6 puntos porcentuales en precisión de conteo solo con añadir anclaje explícito de detector a un VLM, lo que significa que los VLM por sí solos siguen equivocándose bastante al contar. Nada de esto es un impedimento, pero implica que un pipeline de autoetiquetado puro y sin revisar no es seguro para datos de entrenamiento críticos para la seguridad.
La mitigación que funciona de verdad en la práctica es la revisión muestreada en dos niveles: se autoetiqueta todo y después se extrae entre un 1 y un 5% de los fotogramas para revisión humana según una señal de incertidumbre (entropía de tokens del VLM, confianza del detector, desacuerdo entre modelos). Los revisores corrigen y esas correcciones se usan como datos de entrenamiento directos o como realimentación para recalibrar los umbrales de confianza del autoetiquetador. Es el mismo bucle con el que se entrenó el propio Florence-2: el conjunto FLD-5B de Microsoft se construyó encadenando modelos especializados y muestreando después para revisión.
Huella de cómputo: por qué esto acaba on-premise
Esta es la parte que sorprende a quienes no han hecho los números.
Tomemos un objetivo representativo: una hora de grabación de robot a 10 fps desde una cámara estéreo a 1080p. Son 36,000 fotogramas. Quiere los cuatro tipos de etiqueta: cajas, máscaras, descripciones e identidad seguida.
Coste aproximado por fotograma en una sola RTX 5090 (32 GB, Blackwell, ~104 TFLOPS FP16):
| Etapa | Por fotograma | 36 000 fotogramas |
|---|---|---|
| Grounding DINO (Tiny) | ~30 ms | ~18 min |
| SAM 2 large, máscara + propagación | ~25 ms | ~15 min |
| Descripción con Qwen2.5-VL 7B | ~250 ms | ~2.5 h |
| Descripción con Qwen2.5-VL 72B (INT4, por lotes) | ~1.5–3 s | ~15–30 h |
| Florence-2 large (solo descripción) | ~80 ms | ~48 min |
Estas cifras son de orden de magnitud: suponen un batching razonable, servicio con vLLM y cuantización FP16/INT4 cuando procede. SAM 2 por sí solo corre a ~44 fps en una A100 en el benchmark original, así que ~50–60 fps en una 5090 es realista.
La línea interesante es la del VLM de 72B. Si quiere descripciones ricas de la escena para cada fotograma con un VLM de clase 72B, no puede hacerlo en tiempo real con una sola GPU. Las opciones son:
- Submuestrear de forma agresiva: describir un fotograma de cada diez e interpolar el resto. Es lo que hacen en realidad la mayoría de los pipelines en producción.
- Usar un VLM más pequeño (clase 7B–11B) para cada fotograma y reservar el de 72B solo para los fotogramas clave.
- Echarle más GPU, con lo que ocho 5090 en un mismo chasis pasan a ser el mínimo práctico.
El coste agregado de una pasada completa de autoetiquetado sobre una hora de grabación a 10 fps con el 72B en el bucle se sitúa en unas 4–8 horas-GPU de silicio Blackwell de consumo, y el chasis Kentino AI 256 con 8× 5090 puede terminarla en bastante menos de una hora de reloj gracias al paralelismo entre GPU.
Ahora las cuentas de la nube. La misma carga en un hiperescalar:
- Cómputo: comparable, quizá más barato con precios spot.
- Salida de datos: brutal. Una grabación estéreo a 1080p y 10 fps durante una hora ocupa ~30–80 GB en bruto, más si conserva la profundidad. Guardarla en la nube y sacar de ahí las etiquetas cuesta céntimos a la entrada y decenas de dólares a la salida por cada pasada. El artículo Robo-DM de Berkeley, de 2025, lo midió explícitamente: almacenar 8.9 TB de datos Open-X en Google Cloud cuesta 172 $/mes, pero cada descarga completa cuesta entre 172 $ y 1,540 $ según el nivel. Multiplique eso por una flota que graba cientos de horas por semana y solo la salida de datos supera en un año la amortización del capex de un único servidor on-premise.
- Latencia del bucle: larga. El sentido del autoetiquetado es el bucle cerrado: grabar hoy, etiquetar esta noche, ajustar mañana y desplegar la política mejorada por la mañana. Un viaje de ida y vuelta a la nube añade horas de subida en el enlace típico de un laboratorio.
- Privacidad: un problema. Aquí se aplica el mismo argumento sobre datos regulados de R08 . El vídeo bruto de un robot en la habitación de un paciente, en una planta de fábrica o en un laboratorio de defensa no va a la GPU de nadie más.
Por eso, en 2026, todo laboratorio de robótica serio es dueño de su cómputo de autoetiquetado. El Kentino AI 256 Turin Dual con 8× RTX 5090 está dimensionado casi exactamente para esta carga: 256 GB de RAM de sistema, ocho GPU para las etapas paralelas del pipeline y NVMe para la capa caliente del conjunto de datos. La configuración con 4× RTX Pro 6000 Blackwell es la vía de ampliación cuando el equipo quiere ejecutar el 72B en FP16 en lugar de INT4 y mantener residentes más modelos simultáneos.
El bucle cerrado
La razón por la que la huella on-premise se amortiza no es el autoetiquetado en sí: es el bucle que habilita.
Bucle cerrado diario — grabar → autoetiquetar → revisar → ajustar → validar → desplegar
Este es el bucle para el que se diseñó la receta OpenVLA-OFT (marzo de 2025): un ajuste fino entre 25 y 50× más rápido que el OpenVLA original, pensado para caber en un único servidor de GPU de clase estación de trabajo. FLaRe (ICRA 2025) es el equivalente con aprendizaje por refuerzo. Los trabajos de aprendizaje continuo sobre ajuste fino basado en adaptadores (OMLA, LifeLong-RFT) permiten adaptarse sin olvido catastrófico.
Nada de esto funciona a la cadencia de un viaje de ida y vuelta a la nube. El bucle es el valor, y el bucle exige que los datos y el cómputo estén en el mismo edificio.
Un ejemplo concreto: humanoide doméstico
Para concretar, imagine el pipeline de autoetiquetado mínimo viable para un humanoide que realiza tareas domésticas (cargar el lavavajillas, doblar la ropa, traer objetos de un cajón etiquetado).
Grabación: el humanoide tiene cámaras RGB estéreo a 30 fps, cámaras de muñeca a 15 fps, profundidad por estéreo activo y estados articulares a 200 Hz. Una sesión de dos horas produce ~250 GB en bruto en el NVMe de a bordo.
Sincronización: al terminar la sesión, el robot sube los datos al servidor Kentino AI del laboratorio por cable o Wi-Fi 6E, unos 5–10 minutos para 250 GB.
Etapas 1+2 (Grounded-SAM 2): detección de vocabulario abierto con un vocabulario de dominio de unos 200 sustantivos domésticos («taza», «espátula», «cesto de la ropa», «paño de cocina azul»…) más los propios efectores del agente. SAM 2 propaga las máscaras por los clips. Tiempo de reloj en 8× 5090: ~45 minutos.
Etapa 3 (Qwen2.5-VL): VLM de 7B en cada fotograma para una descripción breve y de 72B cada diez fotogramas para una descripción más rica, más las relaciones entre objetos. Tiempo de reloj: ~3 horas.
Etapa 4 (grafo de escena): un acumulador al estilo ConceptGraphs construye un grafo de escena 3D persistente del apartamento. Al final de la semana, cada objeto que el robot ha visto vive en el grafo con un ID estable, descriptores en lenguaje y una posición 3D aproximada. Tiempo de reloj: unos minutos por sesión, amortizados.
Etapa 5 (revisión): una herramienta interna muestra los fotogramas en los que la confianza de clase del VLM es < 0.6, o en los que las etapas 1 y 3 discrepan sobre una clase. Un revisor procesa ~500 fotogramas por hora. Con una tasa de muestreo del 5% en una sesión de dos horas, eso supone alrededor de una hora de tiempo humano al día.
Etapa 6 (entrenamiento): las etiquetas corregidas alimentan un ajuste fino al estilo OFT del VLA. El servidor Kentino AI lo ejecuta durante la noche en el mismo hardware que hizo el autoetiquetado: las cargas se secuencian, no son simultáneas.
No es un experimento mental de investigación. Es lo que 1X, Skild AI y los grupos publicados que usan OpenVLA hacen realmente en 2026, con variaciones internas. El pipeline es abierto, los modelos son abiertos; el cuello de botella es el cómputo y el esfuerzo de ingeniería, no el acceso a los algoritmos.
Límites honestos
Tres cosas que este artículo no debería dejar pasar sin reconocer:
La alucinación es real y persistente. Incluso con la revisión en dos niveles, no puede fiarse de autoetiquetas sin revisar para entrenamiento crítico para la seguridad (evitación de colisiones, decisiones de contacto, cualquier cosa en la que una etiqueta errónea pueda dañar al robot o a una persona). Úselas para entrenar capacidades, no seguridad. Para la seguridad sigue necesitando datos curados.
El anclaje fuera de distribución se degrada rápido. Un VLM entrenado sobre todo con imágenes de la web será excelente en cocinas y oficinas y notablemente peor en el taller de una CNC o en una planta hospitalaria. La solución es un ajuste fino específico de dominio del propio autoetiquetador, que tiene su propio coste.
El modelo del mundo es frágil ante los cambios del entorno. ConceptGraphs y similares dan por supuesto que el mundo es aproximadamente estático entre visitas. Mueva los muebles y habrá que reconstruir el grafo de escena o revalidarlo a fondo. Hay trabajo activo en esto (grafos de escena de vocabulario abierto en línea, el artículo de Naver Labs de 2025 entre otros), pero trate el modelo del mundo como orientativo, no como autoritativo.
Las estimaciones de cómputo de aquí son aproximadas. Todas las cifras por fotograma dependen de la estrategia de batching, la cuantización, la longitud del prompt y la resolución de imagen. Tome la tabla como orden de magnitud. El orden de magnitud es lo que importa para dimensionar la máquina.
Qué hacer a continuación
Si está evaluando si montar una pila de autoetiquetado:
- Decida qué necesita etiquetar realmente. Solo cajas y máscaras: Grounded-SAM 2 en una única GPU basta. Descripciones y relaciones: necesita como mínimo un VLM de 7B–11B. Descripciones ricas para entrenar un VLA: necesita clase 72B, y tiene que presupuestar las horas-GPU con honestidad.
- Audite su dominio. ¿Están los objetos que le interesan dentro de la distribución de entrenamiento de los detectores de vocabulario abierto? Si trabaja sobre todo en cocinas, oficinas o almacenes, sí. En dominios industriales o médicos especializados, cuente con ajustar finamente el autoetiquetador antes de fiarse de él.
- Planifique el nivel de revisión desde el primer día. Elija una herramienta (Roboflow, Labelbox, V7 o una propia con muestreo por incertidumbre) y presupueste al menos un revisor a jornada completa por cada diez horas-robot de grabación al día. El pipeline de autoetiquetado no sustituye a las personas: cambia lo que hacen.
- Dimensione el cómputo para el paso de 72B. Las demás etapas caben en cualquier cosa. El VLM de 72B a escala es la partida que justifica el servidor de 8 GPU. Si su pipeline solo va a usar VLM de clase 7B, basta con una máquina de 4 GPU. Si quiere las descripciones más ricas y la cadencia de ajuste fino en bucle cerrado, quiere la configuración de 8 GPU.
- Ponga la capa de almacenamiento en NVMe y la capa fría en disco mecánico. Una semana de grabación de flota son terabytes. Al autoetiquetador lo limita más a menudo la E/S que el cómputo de GPU cuando se usan los modelos más pequeños.
La gama de Kentino incluye el Kentino AI 256 Turin Dual / 8× RTX 5090 dimensionado para esta carga en el extremo de silicio de consumo, y el Kentino AI 4× RTX Pro 6000 Blackwell en el extremo de más VRAM, cuando quiere mantener residentes varios VLM grandes a la vez. Los precios y los detalles de configuración están en las páginas de producto correspondientes y en un futuro artículo I05 que recorrerá la configuración de referencia completa.
El filo de esta pila se mueve cada trimestre —SAM 3 tiene seis meses, Qwen3-VL acaba de salir, Cosmos Reason 2 es reciente—, así que los modelos concretos de este artículo envejecerán más rápido que la arquitectura. La arquitectura en sí ya es estable. Cajas, máscaras, descripciones, grafo de escena, revisión, entrenamiento, despliegue. Ese bucle no se va a ninguna parte.
Forma parte de la Wiki de Kentino, una serie de referencia sobre cómputo de IA, robótica y los sistemas que los conectan. Comentarios y correcciones son bienvenidos en info@kentino.com.