DevDocs：快速抓取并整理技术文档的MCP服务

DevDocs 是一个完全免费的开源工具，由 CyberAGI 团队开发，托管在 GitHub 上。它专为程序员和软件开发者设计，能从技术文档的网址开始，自动爬取相关页面并整理成简洁的 Markdown 或 JSON 文件。它内置 MCP 服务器，支持与 Claude 等大模型集成，让用户可以用自然语言查询文档内容。DevDocs 的目标是把几周的文档研究时间缩短到几小时，帮助开发者快速上手新技术。它适合个人开发者、团队和企业用户，目前无需付费，任何人都可以下载使用。

功能列表

• 智能爬取文档：输入一个网址，自动抓取相关页面，支持 1-5 层深度。
• 整理为多种格式：将抓取内容转为 Markdown 或 JSON 文件，方便阅读和进一步处理。
• MCP 服务器集成：内置 MCP 服务器，与 Claude 等大模型配合，智能查询文档。
• 自动链接发现：识别并分类页面中的子链接，确保内容完整。
• 并行处理加速：多线程爬取多个页面，提高效率。
• 选择性爬取：用户可指定提取的内容，避免无关信息。
• 错误恢复机制：爬取失败时自动重试，保证稳定性。
• 完整日志记录：记录每一步操作，便于排查问题。

使用帮助

安装流程

DevDocs 使用 Docker 运行，安装简单。以下是详细步骤：

1. 准备环境
   • 需要安装 Git 和 Docker：
     • Git：从 git-scm.com 下载并安装。
     • Docker：从 docker.com 下载 Docker Desktop 并安装。
   • 检查 Docker 是否正常运行，终端输入 docker --version，看到版本号即成功。
2. 克隆代码
   • 打开终端（Windows 用 CMD 或 PowerShell，Mac/Linux 用 Terminal）。
   • 输入命令下载 DevDocs：

     git clone https://github.com/cyberagiinc/DevDocs.git
     

   • 进入项目目录：

     cd DevDocs
     

3. 启动服务
   • 根据操作系统运行启动脚本：
     • Mac/Linux：

       ./docker-start.sh
       

     • Windows：

       docker-start.bat
       

   • Windows 用户若遇到权限问题，可手动设置文件夹权限：

     icacls logs /grant Everyone:F /T
     icacls storage /grant Everyone:F /T
     icacls crawl_results /grant Everyone:F /T
     

   • 启动后，等待几秒，终端显示服务运行成功。
4. 访问工具
   • 打开浏览器，输入 http://localhost:3001，进入 DevDocs 前端界面。
   • 其他服务地址：
     • 后端 API：http://localhost:24125
     • Crawl4AI 服务：http://localhost:11235

主要功能操作

1. 爬取技术文档

• 步骤：
  1. 在界面输入框粘贴目标网址，如 https://docs.example.com。
  2. 选择爬取深度（1-5 层，默认 5）。
  3. 点击“开始爬取”。
  4. 等待完成，界面会显示抓取的页面列表。
• 注意：
  • 爬取速度快，每分钟可处理 1000 页。
  • 结果保存在 <项目目录>/crawl_results 文件夹。
• 高级选项：
  • 可选择性爬取，勾选需要的内容。

2. 整理文档内容

• 操作：
  • 爬取完成后，内容自动整理为 Markdown 或 JSON 文件。
  • 在 <项目目录>/crawl_results 查看，默认是 Markdown 格式。
• 切换格式：
  • 在界面设置中选择“导出为 JSON”，适合大模型微调。

3. 使用 MCP 服务器和大模型

• 准备：
  • 下载并安装 Claude Desktop App（anthropic.com）。
  • DevDocs 的 MCP 服务器默认运行在本地，无需额外配置。
• 步骤：
  1. 打开 Claude App。
  2. 输入问题，如“这个文档讲了什么”。
  3. Claude 会从 MCP 服务器读取数据并回答。
• 扩展用法：
  • 将本地文档放入 <项目目录>/storage，Claude 可直接访问。
  • 支持复杂问题，如“这个技术怎么实现”。

4. 日志与监控

• 查看日志：
  • 日志文件在 <项目目录>/logs，包括：
    • frontend.log：前端日志。
    • backend.log：后端日志。
    • mcp.log：MCP 服务器日志。
  • 用 Docker 查看实时日志：

    docker logs -f devdocs-backend
    

• 停止服务：
  • 在终端按 Ctrl+C，关闭所有服务。

5. 实用脚本

• 项目提供多种脚本，位于 <项目目录>/scripts：
  • check_mcp_health.sh：检查 MCP 服务器状态。
  • debug_crawl4ai.sh：调试爬取服务。
  • view_result.sh：查看爬取结果。
• 运行方式：
  • 在终端进入脚本目录，输入 ./脚本名 执行。

操作流程总结

1. 安装 Docker 和 Git，下载代码。
2. 运行启动脚本，访问界面。
3. 输入网址，爬取并整理文档。
4. 用 Claude 查询内容，提高效率。

应用场景

1. 快速学习新技术
   输入技术文档网址，DevDocs 爬取并整理所有页面。你可以直接阅读，或用 Claude 提问具体用法，几天内上手新技术。
2. 团队协作
   爬取公司内部文档，生成 Markdown 文件。团队成员通过 MCP 服务器查询，快速共享知识。
3. 开发大模型应用
   用 DevDocs 收集技术资料，输出 JSON 文件。结合 MCP 服务器和大模型，加速 AI 应用开发。
4. 个人项目开发
   独立开发者用 DevDocs 爬取文档，配合 VSCode 和 Claude，几天内完成产品原型。

QA

1. DevDocs 要收费吗？
   不收费。它是开源工具，免费使用，未来 API 功能也在计划中。
2. 需要编程经验吗？
   不需要。安装用几行命令，之后通过界面操作即可。
3. 爬取失败怎么办？
   检查网络，或查看 <项目目录>/logs 日志。常见问题是权限不足，按安装步骤调整即可。
4. 支持私有网站吗？
   支持，只要网站可访问。内部网站需确保网络连通。
5. 和 FireCrawl 有什么区别？
   DevDocs 免费，爬取速度快（1000 页/分钟），支持 5 层深度和 MCP 服务器，而 FireCrawl 收费且功能受限。