NeuralAgent：使用语音和文字操作电脑完成任务的AI智能体

NeuralAgent 是一个开源的 AI 智能体工具，运行在用户本地电脑上。它通过模拟人类操作，如点击、输入、滚动和导航应用，完成各种任务。用户只需用自然语言下达指令，NeuralAgent 就能自动执行，例如填写表单、发送邮件或搜索信息。它支持 Windows、macOS 和 Linux 系统，强调本地运行以保护隐私，无需依赖云服务。项目采用 FastAPI 和 ElectronJS 构建，支持多种大语言模型（如 GPT-4、Claude），并允许通过 Ollama 使用本地模型。NeuralAgent 提供了一个快速、可扩展的架构，适合开发者进一步定制。用户可以在 GitHub 上获取源代码，参与社区贡献，或通过 Discord 获取支持。

功能列表

• 任务自动化：通过自然语言指令，自动完成电脑上的操作，如打开应用、填写表单、发送邮件。
• 跨平台支持：兼容 Windows、macOS 和 Linux 系统，部分功能（如后台浏览器控制）目前仅限 Windows。
• 多模型支持：支持多种大语言模型，包括 OpenAI、Anthropic、Azure OpenAI、Bedrock 和本地 Ollama 模型。
• 命令栏功能：提供一个常驻命令栏，随时接受用户指令，快速执行任务。
• 开源可扩展：基于 MIT 许可证，允许开发者克隆代码、修改或贡献新功能。
• 本地运行：无需云服务，保护用户隐私，数据和操作均在本地处理。
• 后台自动化：支持后台运行任务，例如通过浏览器自动搜索或操作应用。

使用帮助

安装流程

要在本地运行 NeuralAgent，需要按照以下步骤进行安装。整个过程需要基本的编程知识和对终端命令的熟悉。

1. 克隆代码库
   在终端中运行以下命令，将 NeuralAgent 的代码克隆到本地：

   git clone https://github.com/withneural/neuralagent.git
   

   克隆完成后，进入项目目录：

   cd neuralagent
   

2. 设置虚拟环境
   建议创建一个 Python 虚拟环境，以避免依赖冲突。在 backend 目录下运行：

   cd backend
   python -m venv venv
   

   激活虚拟环境：

   • Windows 系统：

     venv\Scripts\activate
     

   • macOS/Linux 系统：

     source venv/bin/activate
     

3. 安装依赖
   在虚拟环境中安装后端依赖：

   pip install -r requirements.txt
   

   然后，进入 desktop 目录安装前端依赖：

   cd ../desktop/neuralagent-app
   npm install
   

4. 配置 PostgreSQL 数据库
   NeuralAgent 需要一个本地 PostgreSQL 数据库。用户需先安装 PostgreSQL（具体安装方法可参考 PostgreSQL 官网）。创建数据库后，配置环境变量：

   export DB_HOST=localhost
   export DB_PORT=5432
   export DB_DATABASE=neuralagent
   export DB_USERNAME=your_username
   export DB_PASSWORD=your_password
   export DB_CONNECTION_STRING=postgresql://your_username:your_password@localhost:5432/neuralagent
   export JWT_ISS=NeuralAgentBackend
   export JWT_SECRET=your_random_string
   

   将 your_username、your_password 和 your_random_string 替换为实际值。JWT_SECRET 需为随机字符串，可通过命令生成：

   openssl rand -hex 32
   

5. 配置 AI 模型
   NeuralAgent 支持多种大语言模型，用户需根据需求配置 API 密钥或本地模型。例如，配置 OpenAI：

   export OPENAI_API_KEY=your_openai_key
   

   如果使用本地 Ollama 模型，需确保 Ollama 服务运行，并设置：

   export OLLAMA_URL=http://127.0.0.1:11434
   export CLASSIFIER_AGENT_MODEL_TYPE=ollama
   export CLASSIFIER_AGENT_MODEL_ID=gpt-4.1
   

   类似地，可配置 Anthropic、Azure OpenAI 或其他支持的模型。

6. 启动服务
   打开两个终端窗口，分别启动后端和前端：
   • 后端（在 backend 目录）：

     uvicorn main:app --reload
     

   • 前端（在 desktop/neuralagent-app 目录）：

     npm start
     

7. 验证安装
   启动后，NeuralAgent 的界面会显示在桌面。用户可以通过命令栏输入指令，测试是否正常运行。例如，输入“打开记事本并写入‘Hello World’”。

使用方法

NeuralAgent 的核心是通过自然语言指令完成电脑操作。以下是主要功能的详细操作流程：

• 任务自动化
  在命令栏中输入自然语言指令，例如：

  查找 5 个热门 GitHub 仓库，然后在记事本中记录并保存到桌面
  

  NeuralAgent 会自动打开浏览器，搜索 GitHub 趋势页面，提取信息，打开记事本，输入内容并保存。用户无需手动操作，整个过程由 AI 完成。

• 命令栏操作
  NeuralAgent 的命令栏是一个常驻界面，随时接受指令。用户可以输入：

  打开 Gmail 并发送一封邮件给 test@example.com，主题为‘测试’，内容为‘这是 NeuralAgent 发送的邮件’
  

  NeuralAgent 会自动打开浏览器，登录 Gmail（需预先配置登录信息），填写邮件内容并发送。

• 使用本地模型
  如果配置了 Ollama，本地模型可用于任务处理。用户需确保电脑有足够性能运行大语言模型。设置完成后，指令处理速度更快，且无需网络连接。例如：

  在终端运行 'ls -l' 并记录输出到文件
  

  NeuralAgent 将执行终端命令并保存结果。

• 开发者定制
  开发者可以修改 backend 目录中的 Python 代码或 desktop/neuralagent-app 目录中的 React 前端代码。例如，添加新功能需调整 aiagent 目录中的 pyautogui 脚本。社区支持通过 GitHub 提交 Pull Request。

注意事项

• 首次运行需确保网络连接以下载依赖。
• 后台自动化功能（如浏览器控制）在 macOS 和 Linux 上可能有限制。
• 使用本地模型需高性能硬件（如 GPU），否则可能运行缓慢。
• 测试时谨慎使用，因为 NeuralAgent 会直接操作鼠标和键盘。

应用场景

1. 日常办公自动化
   用户需要快速处理重复性任务，如批量发送邮件或整理文件。NeuralAgent 可通过一句指令完成，例如“打开 Excel，整理表格数据并保存”。
2. 开发者调试工具
   开发者可使用 NeuralAgent 自动运行测试脚本或执行终端命令。例如，“运行 Python 脚本并将错误日志保存到桌面”。
3. 教育与学习
   学生可通过 NeuralAgent 学习命令行操作。例如，输入“在终端运行 git 命令并解释输出”，NeuralAgent 会执行并生成说明。
4. 内容创作支持
   创作者可让 NeuralAgent 自动搜索素材并整理。例如，“搜索 10 张风景图片并保存到文件夹”。

QA

1. NeuralAgent 是否需要云服务？
   不需要。NeuralAgent 运行在本地电脑上，数据处理和操作均在本地完成，保护用户隐私。
2. 是否支持本地大语言模型？
   支持。用户可通过 Ollama 配置本地模型，但需确保硬件性能足够。
3. 安装需要多长时间？
   视网络和硬件情况，通常 10-30 分钟。克隆代码和安装依赖占主要时间。
4. 能否在低性能电脑上运行？
   可运行，但若使用本地模型，建议配备高性能 CPU 或 GPU，否则可能较慢。
5. 如何参与开发？
   克隆 GitHub 仓库，修改代码后提交 Pull Request。加入 Discord 社区可获取更多支持。