Autoetiquetagem do Ambiente: Modelos de Mundo Guiados por VLM para Robôs

Em 2023, um conjunto de dados credível de robótica doméstica exigia mil horas-pessoa de anotadores humanos a desenhar caixas à volta de canecas e cadeiras. Em 2026, o mesmo conjunto de dados é produzido de um dia para o outro por uma pilha de modelos de visão e linguagem a correr num único servidor de 8 GPU. O humano continua no circuito, mas apenas como revisor de uma amostra, não como anotador principal. Este artigo é sobre essa mudança — o que significa realmente a "anotação automática" para um robô hoje, qual é o aspeto do pipeline, onde é que falha e porque é que a pegada de computação é a parte que decide se a sua equipa consegue sequer fazê-lo.

Isto faz parte da linha de Robótica da Wiki Kentino. Cruza-se com R08 (o argumento da latência a favor de computação dedicada na periferia) e I01 (arquitetura de IA na periferia com inferência local). Um futuro I05 percorrerá a montagem de referência dimensionada exatamente para esta carga de trabalho.

O que significa anotação automática em robótica

O pipeline clássico de visão por computador partia do princípio de que as etiquetas eram escassas e caras. Uma caixa delimitadora à volta de uma "chávena" custava dez segundos e uns cêntimos a um humano. Uma máscara de segmentação com precisão ao pixel custava um minuto e um dólar. Uma máscara fotograma a fotograma ao longo de um clip de trinta segundos custava o preço de um carro pequeno.

Os conjuntos de dados de robótica são patológicos para esse modelo. Um único quadrúpede numa volta de mapeamento de trinta minutos a 30 fps produz 54,000 fotogramas. Uma sessão de teleoperação de um humanoide ao longo de um dia de trabalho produz centenas de milhares. Idealmente, cada fotograma precisa de:

• Caixas delimitadoras de objetos (vocabulário aberto, não apenas as 80 classes do COCO)
• Máscaras de segmentação por instância (para que a política possa raciocinar sobre regiões agarráveis)
• Uma descrição da cena em linguagem natural (para que um VLA possa ser condicionado por ela)
• Identidade seguida ao longo dos fotogramas (para que "a caneca vermelha" continue a ser a mesma caneca)
• Opcional: estimativas de posição 3D, fundidas com profundidade ou LiDAR

A economia da anotação humana morre, em qualquer destes casos, ao fim dos primeiros mil fotogramas. "Anotação automática" é o termo genérico para o uso de modelos fundacionais — VLM, detetores de vocabulário aberto, segmentadores por prompt — para produzir essas etiquetas à velocidade da inferência e não à velocidade de uma pessoa a clicar.

A mudança desde 2023 não é filosófica, é mecânica. Três coisas mudaram na mesma janela de dezoito meses:

1. A deteção de vocabulário aberto tornou-se utilizável. O Grounding DINO, o OWLv2 e o Florence-2 passaram de "demonstração interessante" a "nível de produção para ~80% dos objetos comuns" entre meados de 2024 e finais de 2025.
2. Chegou a segmentação de vídeo por prompt. O SAM 2 (meados de 2024) e agora o SAM 3 (lançado em novembro de 2025) tornaram barato seguir máscaras ao longo do vídeo a partir de um prompt com um sintagma nominal. O SAM 3, em particular, aceita diretamente prompts de conceito — "autocarro escolar amarelo" — e devolve máscaras com identidades estáveis.
3. Os VLM ganharam ancoragem visual. O Qwen2.5-VL (início de 2025) e as famílias Qwen3-VL que se lhe seguiram devolvem caixas delimitadoras na grelha real de pixels, em JSON estável. Pode dar a um VLM de 72B o prompt "lista todos os objetos desta imagem em JSON, com bbox e uma descrição de uma frase" e receber algo que pode canalizar diretamente para um ciclo de treino.

O estado da arte em 2026 não é um modelo — é um pipeline composto.

Arquitetura do pipeline

A pilha de referência para anotação automática tem este aspeto:

Pipeline de anotação automática em seis fases — registar → ancorar → segmentar → descrever → acumular → rever → treinar

Vale a pena sublinhar algumas coisas antes de avançarmos.

Primeiro, as fases 1 e 2 são muitas vezes fundidas no Grounded-SAM 2, o pipeline aberto da IDEA-Research que liga o Grounding DINO (ou o Florence-2 ou o DINO-X) ao SAM 2 numa só passagem. O script de anotação automática desse repositório é a implementação canónica de "caixas e máscaras a partir de um sintagma nominal". Com a interface de prompts de conceito do SAM 3 isto funde-se ainda mais — dá-lhe as palavras, recebe de volta máscaras seguidas.

Segundo, a fase 3 é a cara e aquela em que a escolha do modelo mais pesa. Um VLM de 7B (Qwen2.5-VL 7B, Florence-2 large) produz legendas coerentes a baixo custo, mas deixa escapar subtilezas. Um modelo da classe dos 72B produz descrições muitíssimo mais ricas, acerta nas relações com muito mais frequência e é bastante mais útil para o treino posterior de VLA — a cerca de 10× o custo por fotograma.

Terceiro, a fase 4 é aquilo a que as pessoas chamam "modelo do mundo" neste contexto. Não é um modelo generativo de vídeo como o Cosmos Predict. É um repositório persistente e com noção de 3D de "que objetos existem nesta sala, onde estão, como se relacionam". O ConceptGraphs é a receita canónica de código aberto; o OK-Robot demonstrou que escala para ~170 tarefas de pegar e pousar em dez casas. O modelo do mundo é o que torna as etiquetas reutilizáveis: quando o robô regressa no dia seguinte, não começa do zero.

O que os VLM fazem bem, e onde falham

Uma tabela honesta, porque o material de marketing de cada um destes modelos engana em direções diferentes:

A conclusão honesta mais importante de todas: as anotações automáticas têm ruído. Ao longo da literatura de 2025–2026, a deteção de vocabulário aberto em domínios fora da distribuição fica entre 5–15% de alucinação, consoante a forma de medir. O artigo GroundCount, do início de 2026, reportou uma melhoria de 6.6 pontos percentuais na exatidão de contagem apenas por acrescentar ancoragem explícita por detetor a um VLM — o que significa que os VLM sozinhos continuam a errar substancialmente nas contagens. Nada disto é impeditivo, mas quer dizer que um pipeline de anotação automática sem revisão não é seguro para dados de treino críticos para a segurança.

A mitigação que funciona mesmo na prática é a revisão por amostragem em duas camadas: anota-se tudo automaticamente e depois puxam-se 1–5% dos fotogramas para revisão humana com base num sinal de incerteza (entropia dos tokens do VLM, confiança do detetor, desacordo entre modelos). Os revisores corrigem, e essas correções são usadas como dados de treino diretos ou como retorno para recalibrar os limiares de confiança do anotador automático. É o mesmo ciclo com que o próprio Florence-2 foi treinado — o conjunto de dados FLD-5B da Microsoft foi construído encadeando modelos especializados e depois amostrando para revisão.

Pegada de computação — porque é que isto fica em instalações próprias

Esta é a parte que surpreende quem nunca fez as contas.

Tome-se um objetivo representativo: uma hora de imagens de robô a 10 fps de uma câmara estéreo a 1080p. São 36,000 fotogramas. Quer os quatro tipos de etiqueta: caixas, máscaras, legendas e identidade seguida.

Custo aproximado por fotograma numa única RTX 5090 (32 GB, Blackwell, ~104 TFLOPS FP16):

Estes números são de ordem de grandeza — pressupõem lotes razoáveis, serviço por vLLM e quantização FP16/INT4 onde apropriado. O SAM 2 sozinho corre a ~44 fps numa A100 no benchmark original, pelo que ~50–60 fps numa 5090 é realista.

A linha interessante é a do VLM de 72B. Se quiser descrições de cena ricas para cada fotograma a partir de um VLM da classe dos 72B, não o consegue fazer numa única GPU em tempo real. Ou então:

1. Subamostra de forma agressiva — legenda um em cada dez fotogramas e interpola os restantes. É isto que a maioria dos pipelines de produção faz na realidade.
2. Usa um VLM mais pequeno (classe 7B–11B) para cada fotograma e reserva o de 72B apenas para os fotogramas-chave.
3. Atira mais GPU ao problema — e nessa altura oito 5090 num só chassis passa a ser o mínimo da gama prática.

O custo agregado de uma passagem completa de anotação automática sobre uma hora de imagens a 10 fps, com o modelo de 72B no circuito, situa-se em cerca de 4–8 horas-GPU em silício Blackwell de consumo, e o chassis Kentino AI 256 com 8× 5090 consegue terminá-la em bastante menos de uma hora de relógio, com paralelismo entre GPU.

Agora as contas da cloud. A mesma carga de trabalho num hiperescalador:

• Computação: comparável, talvez mais barata com preços spot.
• Saída de dados: brutal. Uma gravação estéreo a 1080p e 10 fps durante uma hora ocupa ~30–80 GB em bruto, mais se guardar a profundidade. Armazená-la na cloud e trazer de volta as etiquetas custa cêntimos à entrada e dezenas de euros à saída, por cada passagem. O artigo Robo-DM, de Berkeley, em 2025, mediu isto explicitamente: armazenar 8.9 TB de dados Open-X na Google Cloud custa $172/mês, mas cada descarga completa custa $172–$1,540 consoante o escalão. Multiplique isso por uma frota que grava centenas de horas por semana e só a saída de dados excede, dentro de um ano, a amortização do capex de um único servidor em instalações próprias.
• Latência do ciclo: longa. O objetivo da anotação automática é o ciclo fechado — gravar hoje, anotar à noite, afinar amanhã, enviar a política melhorada de manhã. Uma ida e volta à cloud acrescenta horas de carregamento numa ligação de subida típica de laboratório.
• Privacidade: um problema. O mesmo argumento sobre dados regulados do R08 aplica-se aqui. Vídeo em bruto de um robô num quarto de doente, no chão de uma fábrica ou num laboratório de defesa não vai para a GPU de mais ninguém.

É por isto que, em 2026, todos os laboratórios de robótica a sério são donos da sua própria computação de anotação. O Kentino AI 256 Turin Dual com 8× RTX 5090 está dimensionado quase exatamente para esta carga de trabalho — 256 GB de RAM de sistema, oito GPU para fases paralelas do pipeline e NVMe para a camada quente do conjunto de dados. A configuração com 4× RTX Pro 6000 Blackwell é o caminho de upgrade quando a equipa quer correr o modelo de 72B em FP16 em vez de INT4 e manter mais modelos residentes em simultâneo.

O ciclo fechado

A razão pela qual a pegada em instalações próprias se paga não é a anotação automática em si — é o ciclo que ela permite.

Ciclo fechado diário — gravar → anotar automaticamente → rever → afinar → validar → implantar

Este é o ciclo para que a receita OpenVLA-OFT (março de 2025) foi desenhada: afinação 25–50× mais rápida do que o OpenVLA original, pensada para caber num único servidor de GPU de classe estação de trabalho. O FLaRe (ICRA 2025) é o equivalente em aprendizagem por reforço. O trabalho de aprendizagem contínua sobre afinação baseada em adaptadores (OMLA, LifeLong-RFT) permite adaptar sem esquecimento catastrófico.

Nada disto funciona à cadência de uma ida e volta à cloud. O ciclo é o valor, e o ciclo exige que os dados e a computação estejam no mesmo edifício.

Um exemplo concreto — humanoide doméstico

Para tornar isto concreto, imagine o pipeline de anotação automática mais simples que é viável para um humanoide a executar tarefas domésticas (encher a máquina de lavar loiça, dobrar roupa, ir buscar artigos a um caixote identificado).

Gravação: o humanoide tem câmaras RGB estéreo a 30 fps, câmaras de pulso a 15 fps, profundidade por estéreo ativo e estados das juntas a 200 Hz. Uma sessão de duas horas produz ~250 GB em bruto no NVMe de bordo.

Sincronização: no fim da sessão, o robô carrega os dados para o servidor Kentino AI do laboratório por cabo ou Wi-Fi 6E, ~5–10 minutos para 250 GB.

Fases 1+2 (Grounded-SAM 2): deteção de vocabulário aberto com um vocabulário de domínio de cerca de 200 substantivos domésticos ("caneca", "espátula", "cesto da roupa", "pano de loiça azul"…), mais os próprios efetores do agente. O SAM 2 propaga as máscaras ao longo dos clips. Tempo de relógio em 8× 5090: ~45 minutos.

Fase 3 (Qwen2.5-VL): VLM de 7B em cada fotograma para uma legenda breve, de 72B em cada décimo fotograma para uma descrição mais rica e relações entre objetos. Tempo de relógio: ~3 horas.

Fase 4 (grafo de cena): um acumulador ao estilo ConceptGraphs constrói um grafo de cena 3D persistente do apartamento. Ao fim da semana, todos os objetos que o robô viu vivem no grafo com um ID estável, descritores em linguagem natural e uma posição 3D grosseira. Tempo de relógio: alguns minutos por sessão, amortizados.

Fase 5 (revisão): uma ferramenta interna faz emergir os fotogramas em que a confiança de classe do VLM é < 0.6, ou em que a Fase 1 e a Fase 3 discordam quanto à classe. Um revisor trata de ~500 fotogramas por hora. Com uma taxa de amostragem de 5% numa sessão de duas horas, isso dá aproximadamente uma hora de tempo humano por dia.

Fase 6 (treino): as etiquetas corrigidas alimentam uma afinação ao estilo OFT do VLA. O servidor Kentino AI corre isto durante a noite no mesmo hardware que fez a anotação automática — as cargas de trabalho são sequenciadas, não concorrentes.

Isto não é uma experiência mental de investigação. É o que a 1X, a Skild AI e os grupos publicados que usam o OpenVLA fazem efetivamente em 2026, com variações internas. O pipeline é aberto, os modelos são abertos; o estrangulamento está na computação e no esforço de engenharia — não no acesso aos algoritmos.

Limites honestos

Três coisas que este artigo não deve deixar passar sem as reconhecer:

A alucinação é real e persistente. Mesmo com a revisão em duas camadas, não se pode confiar em anotações automáticas não revistas para treino crítico para a segurança (prevenção de colisões, decisões de contacto, tudo aquilo em que uma etiqueta errada pode ferir o robô ou uma pessoa). Use-as para treinar capacidades, não para treinar segurança. Para segurança, continua a querer dados curados.

A ancoragem fora da distribuição degrada-se depressa. Um VLM treinado sobretudo com imagens da web será excelente em cozinhas e escritórios e visivelmente pior no chão de uma oficina CNC ou numa enfermaria. A solução passa por afinar o próprio anotador automático para o domínio, o que tem o seu próprio custo.

O modelo do mundo é frágil face a mudanças no ambiente. O ConceptGraphs e afins partem do princípio de que o mundo se mantém mais ou menos estático entre visitas. Mude a mobília de sítio e o grafo de cena tem de ser reconstruído ou revalidado de forma agressiva. Há trabalho ativo nisto (grafos de cena de vocabulário aberto em tempo real, o artigo de 2025 dos Naver Labs, entre outros), mas trate o modelo do mundo como indicativo, não como autoritativo.

As estimativas de computação aqui apresentadas são grosseiras. Todos os números por fotograma dependem da estratégia de lotes, da quantização, do comprimento do prompt e da resolução da imagem. Trate a tabela como ordem de grandeza. É a ordem de grandeza que conta para dimensionar a máquina.

Isto faz parte da Wiki Kentino, uma série de referência sobre computação de IA, robótica e os sistemas que as ligam. Comentários e correções são bem-vindos em info@kentino.com.