O recurso revolucionário da ferramenta é sua interface interativa de linguagem natural, que permite ao usuário descrever as características do objeto a ser detectado em linguagem cotidiana. Por exemplo, ao digitar "detectar homens usando óculos escuros" ou "encontrar todos os veículos de transporte vermelhos", o sistema entende o contexto semântico e produz resultados precisos. Esse tipo de interação rompe a dependência tradicional da visão computacional em relação a dados rotulados profissionalmente e facilita o uso dos recursos de IA por pessoas não técnicas.
A principal tecnologia para alcançar esse avanço consiste em dois aspectos: uma compreensão profunda das associações visuais e verbais de um modelo pré-treinado multimodal em grande escala e uma arquitetura de inferência otimizada para tarefas de detecção de alvos. O sistema analisa automaticamente os principais recursos visuais ao processar palavras-chave, levando em conta o contexto da cena, e esse recurso avançado de inferência permite lidar com comandos complexos, como "detectar a pessoa que está falando na sala de conferências".
Testes reais mostram que o sistema atinge a precisão disponível comercialmente, mesmo quando confrontado com tarefas como "encontrar todas as caixas quebradas", que exigem julgamento de qualidade. Essa capacidade de generalização decorre do entendimento de senso comum que o modelo adquiriu com o pré-treinamento de centenas de milhões de imagens e não é mais limitado pelas limitações dos conjuntos de dados específicos do domínio.
Essa resposta foi extraída do artigoAgentic Object Detection: uma ferramenta para detecção de objetos visuais sem anotação e treinamentoO
