O processo de realização de operações de automação local
O recurso de operação local do UI-TARS-desktop é seu recurso mais básico e revolucionário. Para automatizar um computador local, o usuário só precisa seguir um fluxo de trabalho simples:
1. fase de iniciação e configuração:
Primeiramente, o aplicativo precisa ser instalado corretamente, executando o instalador .exe ou .msi para usuários do Windows ou por meio de um arquivo .dmg para usuários do Mac. Após a inicialização, o sistema detectará automaticamente o ambiente local e concluirá a configuração inicial.
2. fase de entrada de comando:
Após selecionar o modo "Local Operation" (Operação local) na interface principal, os usuários podem inserir comandos de linguagem natural diretamente na caixa de texto. Observe que:
- As instruções devem ser o mais específicas possível (por exemplo, "abra a pasta do projeto na unidade D" em vez de "abra essa pasta").
- Recomenda-se que tarefas complexas de várias etapas sejam divididas em algumas instruções simples
- Pode incluir ações preventivas para iniciar o aplicativo (por exemplo, "Abrir o Excel primeiro")
3. fase de monitoramento da implementação:
Após pressionar o botão Executar, o usuário observará:
- O ponteiro do mouse se move e clica automaticamente na posição de destino de acordo com a compreensão da IA
- A interface do sistema exibe as etapas de execução atuais e o progresso em tempo real
- Pausar e aguardar a confirmação do usuário ao encontrar problemas
Durante todo o processo, a IA continuará a entender as mudanças de estado da interface por meio das capturas de tela e ajustará dinamicamente a estratégia de operação para garantir que a tarefa seja concluída com precisão.
Essa resposta foi extraída do artigoUI-TARS Desktop: aplicativo da Intelligentsia para controle de computadores usando linguagem naturalO
