prescrição
O agente TARS usa técnicas multimodais que combinam reconhecimento visual e operações de comando para resolver o problema de reconhecimento de elementos da Web. Ele pode ser implementado de acordo com as etapas a seguir:
- Ativação de privilégios de acessibilidadePermissões de "Acessibilidade" do macOS (Configurações do sistema > Privacidade e segurança) na primeira inicialização, que é a base para o controle da tela e do teclado.
- Configuração de modelos de alta qualidadeSelecione um provedor de modelo confiável (por exemplo, Azure OpenAI) nas configurações e insira os parâmetros corretos de chave de API, apiVersion, deploymentName e endpoint.
- Descrições precisas das tarefasTarefas de entrada: as tarefas de entrada precisam especificar as características do elemento (por exemplo, cor ou texto do botão), por exemplo, é mais preciso pesquisar "botões" "clicando em azul" em vez de "clicando em pesquisar".
- depuração em tempo realObservação do processo de reconhecimento: observe o processo de reconhecimento usando a exibição de ações no lado direito do aplicativo da área de trabalho e adicione imediatamente instruções de correção (por exemplo, "role para baixo e tente reconhecer novamente") se forem detectados desvios.
Para páginas complexas, é recomendável usar primeiro o comando "View Page Source" para obter a estrutura DOM e ajudar na identificação. Se isso continuar a falhar, entre na comunidade do Discord para fornecer feedback sobre casos específicos e obter suporte da equipe de desenvolvimento.
Essa resposta foi extraída do artigoAgente TARS: uma inteligência de código aberto que usa visão e comandos para operar computadoresO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como resolver o problema da precisão do reconhecimento visual em operações automatizadas na Web?
