O que é o DroidRun?
O DroidRun é uma ferramenta de IA de código aberto projetada para dispositivos Android que imita o comportamento de um ser humano operando um telefone celular. Ele automatiza por meio de duas tecnologias principais:
- análise visualAnálise de capturas de tela para identificar botões, caixas de entrada e outros elementos
- Análise da estrutura da interface do usuárioLeitura direta de dados no nível da interface do sistema
Princípio de funcionamento
Ao executar uma tarefa: 1. primeiro capturar o conteúdo da tela atual 2. usar modelos de IA para identificar elementos interativos 3. simular eventos de toque (cliques/deslizes) ou entrada de texto 4. monitorar continuamente o status da execução e recuperar-se automaticamente de quaisquer erros encontrados
Por exemplo, ao executar "Send WeChat Message" (Enviar mensagem do WeChat), ele primeiro localizará o ícone do WeChat, clicará nele para localizar a caixa de entrada e, em seguida, clicará automaticamente no botão Send (Enviar) após concluir a entrada.
Essa resposta foi extraída do artigoDroidRun: uma ferramenta de código aberto para IA para automatizar telefones AndroidO
































