Recursos de interação do sistema operacional antropomórfico do CUA
O LangGraph CUA implementa uma simulação completa da interação gráfica de um sistema operacional de desktop, e seus recursos operacionais podem ser decompostos em três dimensões:
- Simulação de entrada básica: entrada de teclado (comandos de digitação), clique/movimento do mouse (comandos de clique) e operações de roda de rolagem com precisão de posicionamento de coordenadas na tela em nível de pixel.
- Gerenciamento de aplicativos: recursos de controle no nível do sistema, como iniciar/fechar aplicativos (por exemplo, abrir o navegador), alternar entre janelas, etc.
- Automação do navegador: cenários de interação com a Web, como carregamento de páginas, envio de formulários, etc., por meio da integração com o Scrapybara
A implementação técnica desses recursos depende do encapsulamento abstrato das APIs subjacentes do sistema operacional, por exemplo, o Windows usa a biblioteca pywin32 para controle de janelas, e a funcionalidade entre plataformas é garantida por bibliotecas de uso geral, como a PyAutoGUI. É especialmente notável seu recurso de saída de streaming em tempo real, que pode decompor operações de várias etapas em sequências de execução visual, o que é crucial para a depuração de fluxos de trabalho complexos.
Os dados de teste mostram que, no ambiente de teste padrão, o CUA conclui o processo completo de "abrir o bloco de notas - inserir texto - salvar o arquivo" em uma média de apenas 1,2 segundo, próximo à velocidade da operação manual.
Essa resposta foi extraída do artigoLangGraph CUA: inteligência de IA baseada em LangGraph para controle de operações de computadorO
