Um dos recursos mais notáveis e inovadores do MM-EUREKA é o recurso Visual Reflection. Essa tecnologia, por meio de um projeto arquitetônico especial, permite que o modelo realize várias rodadas de pensamento como um ser humano durante o processo de raciocínio.
Para implementações específicas, o modelo reavaliará os resultados da inferência inicial, concentrando-se na revisão de dicas visuais importantes na imagem. Os casos de teste mostram que, para tarefas complexas, como problemas de aplicativos de matemática, o modelo gera um processo de raciocínio passo a passo por meio de tags , incluindo várias validações de elementos visuais, como cálculo de área e reconhecimento de gráficos.
Esse recurso se reflete especialmente no script de teste test_reflection.py. Ao lidar com questões de prova geométrica, o modelo confirma repetidamente as principais informações, como relações angulares, proporções de comprimento etc. nos gráficos e, por fim, fornece a resposta exata por meio da tag . Esse mecanismo de trabalho melhora consideravelmente a precisão das respostas a problemas visuais complexos.
Essa resposta foi extraída do artigoMM-EUREKA: uma ferramenta de aprendizagem por reforço multimodal para explorar o raciocínio visualO
