Arquitetura de processamento de tarefas multimodais
A natureza multimodal do Agent TARS é demonstrada por sua capacidade de processar simultaneamente três tipos de dados principais: informações visuais (capturas de tela/elementos da página da Web), comandos textuais (entrada do usuário/conteúdo da página da Web) e comandos do sistema (operações de linha de comando). Essa arquitetura permite que ele execute tarefas complexas que são difíceis de realizar com ferramentas tradicionais, como o fluxo de trabalho de "capturar dados da página da Web → processar com linha de comando → salvar como arquivo local".
- Automação do navegadorCliques precisos em elementos e preenchimento de formulários por meio de posicionamento visual com taxa de erro 60% menor do que o posicionamento XPath tradicional.
- Integração da linha de comandoAnálise inteligente de mais de 200 comandos comuns do Unix, incluindo operações de pipeline e gerenciamento de tarefas em segundo plano.
- operação do sistema de arquivosControle refinado de permissões de leitura/gravação e manipulação de dados estruturados, como JSON/CSV.
Os dados de teste mostram que, em um cenário típico de coleta de dados + limpeza + armazenamento, o uso de uma abordagem multimodal aumenta a eficiência em mais de três vezes em relação a uma única abordagem.
Essa resposta foi extraída do artigoAgente TARS: uma inteligência de código aberto que usa visão e comandos para operar computadoresO
