Fatores que afetam a precisão
Erros de reconhecimento visual, ambiguidade de comandos, mudanças na interface e outros fatores podem levar a desvios operacionais; a taxa de sucesso medida do primeiro uso por usuários comuns é de cerca de 75%.
Métodos de aprimoramento
- Dicas de otimização de comandos::
- Uso de descrições de locais absolutos ("clique no menu de arquivos no canto superior esquerdo" é preferível a "clique nesse botão")
- Inclui recursos de interface ("clique no ícone azul de download")
- Especifique a versão do aplicativo ("In Chrome version 121...")
- Preparação ambiental::
- Resolução uniforme da tela (recomenda-se 1920 x 1080)
- Desative os papéis de parede dinâmicos e os protetores de tela
- Maximizar a janela de destino
- mecanismo de verificação::
- Insira o comando "Please take a screenshot to confirm the current screen" (Faça uma captura de tela para confirmar a tela atual) antes de operações complexas.
- Use uma declaração condicional ("Clique no botão cancelar se você vir a página de pagamento")
Técnicas avançadas
Os usuários profissionais podem ativar o modo de desenvolvedor para visualizar os resultados de reconhecimento de elementos de interface da IA e fazer correções de anotação, que o sistema aprenderá para melhorar a precisão do reconhecimento subsequente.
Essa resposta foi extraída do artigoUI-TARS Desktop: aplicativo da Intelligentsia para controle de computadores usando linguagem naturalO




























