A técnica Focal Prompting usada pelo Describe Anything Model (DAM) é a principal inovação da ferramenta para obter descrições precisas de regiões. Essa técnica permite que o modelo leve em conta o contexto global da imagem e os detalhes da região local por meio de um mecanismo de atenção especialmente projetado, produzindo assim descrições de alvos mais precisas.
O Focal Prompting pode ser dividido em três estágios principais: primeiro, o modelo extrai recursos globais de toda a imagem para entender o contexto da cena; segundo, ele se concentra na análise dos recursos visuais da região especificada pelo usuário; e, por fim, funde dinamicamente as informações globais e locais por meio de um mecanismo de atenção cruzada. Essa abordagem resolve de forma eficaz o problema de "viés de descrição", que é um problema comum nos métodos tradicionais, em que a descrição gerada pode sofrer interferência de informações de fundo irrelevantes.
No teste de benchmark DLC-Bench, o modelo DAM-3B com Focal Prompting atinge 78,3% no índice de precisão da descrição da região, o que é significativamente melhor do que outros modelos de código aberto. As aplicações típicas incluem: distinguir com precisão "água em um copo" de "manchas de água em uma mesa" e identificar diferenças sutis entre tecidos semelhantes em imagens médicas.
Essa resposta foi extraída do artigoDescribe Anything: uma ferramenta de código aberto para gerar descrições detalhadas de imagens e áreas de vídeoO
