NeuralAgent: uma inteligência de IA que usa fala e texto para operar um computador e concluir tarefas

O NeuralAgent é uma ferramenta de inteligência artificial de código aberto que é executada no computador local do usuário. Ele executa uma variedade de tarefas simulando ações humanas, como clicar, digitar, rolar a tela e navegar pelo aplicativo. Os usuários simplesmente dão comandos em linguagem natural e o NeuralAgent os executa automaticamente, como preencher um formulário, enviar um e-mail ou pesquisar informações. Ele é compatível com os sistemas Windows, macOS e Linux, com ênfase na execução local para proteger a privacidade e sem depender de serviços em nuvem. Criado com FastAPI e ElectronJS, o projeto oferece suporte a uma variedade de modelos de linguagem grandes (por exemplo, GPT-4, Claude) e permite o uso de modelos locais por meio do Ollama.NeuralAgent oferece uma arquitetura rápida e dimensionável para os desenvolvedores personalizarem ainda mais. Os usuários podem acessar o código-fonte no GitHub, participar das contribuições da comunidade ou obter suporte por meio do Discord.

Lista de funções

• Automação de tarefasAutomatize ações no computador, como abrir aplicativos, preencher formulários e enviar e-mails, por meio de comandos de linguagem natural.
• Suporte a várias plataformasCompatível com os sistemas Windows, macOS e Linux, mas alguns recursos (como o controle do navegador em segundo plano) são, no momento, apenas para Windows.
• Suporte a vários modelosSuporte para uma ampla variedade de modelos de linguagem grandes, incluindo OpenAI, Anthropic, Azure OpenAI, Bedrock e modelos nativos do Ollama.
• Funções da linha de comandoBarra de comando residente: Forneça uma barra de comando residente pronta para aceitar comandos do usuário e executar tarefas rapidamente.
• código aberto e extensívelBaseado na licença MIT, ele permite que os desenvolvedores clonem o código, modifiquem ou contribuam com novos recursos.
• operação localNão são necessários serviços de nuvem, a privacidade do usuário é protegida e os dados e as operações são tratados localmente.
• automação de back-officeSuporte a tarefas executadas em segundo plano, como a pesquisa ou a manipulação automática de aplicativos por meio do navegador.

Usando a Ajuda

Processo de instalação

Para executar o NeuralAgent localmente, é necessário seguir as etapas abaixo para instalá-lo. Todo o processo requer conhecimentos básicos de programação e familiaridade com os comandos do terminal.

1. Clonagem da base de código
   Clone o código do NeuralAgent localmente executando o seguinte comando em um terminal:

   git clone https://github.com/withneural/neuralagent.git
   

   Quando a clonagem estiver concluída, vá para o diretório do projeto:

   cd neuralagent
   

2. Configuração de um ambiente virtual
   Recomenda-se criar um ambiente virtual Python para evitar conflitos de dependência. Você pode criar um ambiente virtual para o Python na seção backend para executar:

   cd backend
   python -m venv venv
   

   Ativar o ambiente virtual:

   • Windows:

     venv\Scripts\activate
     

   • sistemas macOS/Linux:

     source venv/bin/activate
     

3. Instalação de dependências
   Instale as dependências de back-end no ambiente virtual:

   pip install -r requirements.txt
   

   Em seguida, vá para desktop para instalar as dependências do front-end:

   cd ../desktop/neuralagent-app
   npm install
   

4. Configuração do banco de dados PostgreSQL
   O NeuralAgent requer um banco de dados PostgreSQL local. Os usuários precisam instalar o PostgreSQL primeiro (consulte o site oficial do PostgreSQL para obter detalhes). Depois de criar o banco de dados, configure as variáveis de ambiente:

   export DB_HOST=localhost
   export DB_PORT=5432
   export DB_DATABASE=neuralagent
   export DB_USERNAME=your_username
   export DB_PASSWORD=your_password
   export DB_CONNECTION_STRING=postgresql://your_username:your_password@localhost:5432/neuralagent
   export JWT_ISS=NeuralAgentBackend
   export JWT_SECRET=your_random_string
   

   comandante-em-chefe (militar) your_usernameeyour_password responder cantando your_random_string Substitua pelo valor real.JWT_SECRET Precisa ser uma cadeia aleatória, que pode ser gerada pelo comando:

   openssl rand -hex 32
   

5. Configuração de modelos de IA
   O NeuralAgent oferece suporte a uma variedade de modelos de linguagem grandes, e os usuários precisam configurar as chaves de API ou os modelos locais de acordo com suas necessidades. Por exemplo, para configurar o OpenAI:

   export OPENAI_API_KEY=your_openai_key
   

   Se estiver usando um modelo Ollama local, verifique se o serviço Ollama está em execução e configurado:

   export OLLAMA_URL=http://127.0.0.1:11434
   export CLASSIFIER_AGENT_MODEL_TYPE=ollama
   export CLASSIFIER_AGENT_MODEL_ID=gpt-4.1
   

   Da mesma forma, o Anthropic, o Azure OpenAI ou outros modelos compatíveis podem ser configurados.

6. Início dos serviços
   Abra duas janelas de terminal para iniciar o back-end e o front-end, respectivamente:
   • Backend (no backend (Catálogo):

     uvicorn main:app --reload
     

   • Front-end (em desktop/neuralagent-app (Catálogo):

     npm start
     

7. Verificar a instalação
   Após a inicialização, a interface do NeuralAgent é exibida na área de trabalho. Os usuários podem testar se ela está funcionando corretamente digitando comandos na barra de comando. Por exemplo, digite "Abra o Bloco de Notas e escreva 'Hello World'".

Uso

O núcleo do NeuralAgent é executar operações de computador por meio de comandos de linguagem natural. Abaixo está o fluxo de operação detalhado das principais funções:

• Automação de tarefas
  Digite comandos de linguagem natural na barra de comando, por exemplo:

  查找 5 个热门 GitHub 仓库，然后在记事本中记录并保存到桌面
  

  O NeuralAgent abre automaticamente um navegador, pesquisa a página GitHub Trends, extrai as informações, abre o Bloco de Notas, insere o conteúdo e o salva. O usuário não precisa fazer isso manualmente, a IA faz todo o trabalho.

• operação de linha de comando
  A barra de comando do NeuralAgent é uma interface residente, pronta para aceitar instruções. O usuário pode digitar:

  打开 Gmail 并发送一封邮件给 test@example.com，主题为‘测试’，内容为‘这是 NeuralAgent 发送的邮件’
  

  O NeuralAgent abre automaticamente um navegador, faz login no Gmail (com detalhes de login pré-configurados), preenche o conteúdo do e-mail e o envia.

• Uso de modelos locais
  Se o Ollama estiver configurado, o modelo nativo poderá ser usado para o processamento de tarefas. O usuário precisa garantir que o computador tenha desempenho suficiente para executar o modelo de linguagem grande. Quando a configuração estiver concluída, as instruções serão processadas mais rapidamente e não será necessária uma conexão de rede. Exemplo:

  在终端运行 'ls -l' 并记录输出到文件
  

  O NeuralAgent executará os comandos do terminal e salvará os resultados.

• Personalização do desenvolvedor
  Os desenvolvedores podem modificar o backend ou o código Python no diretório desktop/neuralagent-app Código de front-end do React no diretório. Por exemplo, para adicionar uma nova funcionalidade, é necessário ajustar o aiagent no catálogo pyautogui Scripts. Suporte da comunidade para envio de Pull Requests via GitHub.

advertência

• A primeira execução é necessária para garantir uma conexão com a Internet para baixar as dependências.
• Os recursos de automação em segundo plano, como o controle do navegador, podem ter limitações no macOS e no Linux.
• É necessário hardware de alto desempenho (por exemplo, GPU) para usar modelos locais, caso contrário, eles podem ser executados lentamente.
• Tenha cuidado ao testar, pois o NeuralAgent opera diretamente o mouse e o teclado.

cenário do aplicativo

1. Automação diária do escritório
   Os usuários precisam lidar rapidamente com tarefas repetitivas, como o envio de e-mails em massa ou a organização de arquivos, e o NeuralAgent pode fazer isso com um único comando, como "Abra o Excel, organize os dados da tabela e salve-os".
2. Ferramentas de depuração do desenvolvedor
   Os desenvolvedores podem usar o NeuralAgent para executar automaticamente scripts de teste ou comandos de terminal. Por exemplo, "Execute o script Python e salve o registro de erros na área de trabalho".
3. Educação e aprendizado
   Os alunos podem aprender operações de linha de comando com o NeuralAgent. Por exemplo, digite "execute o comando git no terminal e interprete a saída" e o NeuralAgent executará e gerará instruções.
4. Suporte à criação de conteúdo
   Os criadores podem fazer com que o NeuralAgent busque automaticamente o material e o organize. Por exemplo, "Pesquise 10 imagens de paisagens e salve-as em uma pasta".

QA

1. O NeuralAgent precisa de serviços de nuvem?
   Não. O NeuralAgent é executado no computador local e o processamento e as operações de dados são feitos localmente para proteger a privacidade do usuário.
2. Há suporte para modelos locais de idiomas grandes?
   Suporte. Os usuários podem configurar o modelo local por meio do Ollama, mas precisam garantir que o desempenho do hardware seja suficiente.
3. Quanto tempo leva para instalar?
   Normalmente, de 10 a 30 minutos, dependendo da rede e do hardware. A clonagem do código e a instalação das dependências ocupam a maior parte do tempo.
4. Ele pode ser executado em computadores de baixo desempenho?
   Ele pode ser executado, mas, se estiver usando um modelo local, recomenda-se uma CPU ou GPU de alto desempenho, caso contrário, poderá ser mais lento.
5. Como posso participar do desenvolvimento?
   Clone seu repositório do GitHub, altere seu código e envie uma Pull Request. Participe da comunidade do Discord para obter mais suporte.