WebAgent：智能网络信息搜索与处理工具

WebAgent 是由阿里巴巴 Tongyi Lab 开发的一个开源项目，专注于智能网络信息搜索与处理。它包含三个主要组件：WebWalker、WebDancer 和 WebSailor。这些工具利用先进的语言模型和强化学习技术，帮助用户高效完成复杂的网络信息搜索任务。WebAgent 的设计目标是实现自主信息获取，适用于从学术研究到日常查询的多种场景。项目在 GitHub 上开源，代码和部分数据可供开发者免费使用，吸引了大量关注，拥有超过 4000 次星标和数百次分叉。WebAgent 通过持续更新和社区支持，不断提升性能，WebSailor-72B 模型在多项复杂浏览基准测试中表现优异，接近商业搜索引擎的水平。

功能列表

• WebWalker：提供网络遍历基准测试，评估语言模型在网页导航中的表现，支持多代理协同完成信息搜索任务。
• WebDancer：原生代理搜索模型，专注于自主信息搜索，集成 ReAct 框架，提供高效的搜索推理能力。
• WebSailor：最新发布的代理模型，擅长处理复杂信息搜索任务，支持一键部署，性能在开源模型中名列前茅。
• SailorFog-QA 数据集：提供高难度问答数据集，通过图采样和信息模糊化生成，支持模型训练和评估。
• 强化学习优化：采用 DUPO 算法，结合监督微调和强化学习，提升模型在复杂任务中的泛化能力。

使用帮助

安装流程

WebAgent 是一个开源项目，主要通过 GitHub 仓库获取代码和模型。以下是 WebDancer 和 WebSailor 的安装步骤（以 WebDancer 为例，WebSailor 类似）。用户需要具备基本的 Python 编程环境和 Git 工具。

1. 环境准备：
   • 确保安装了 Python 3.12 或更高版本。
   • 安装 Git，用于克隆仓库。
   • 安装 conda 包管理工具，用于创建虚拟环境。
2. 克隆仓库：
   在终端运行以下命令，获取 WebAgent 代码：

   git clone https://github.com/Alibaba-NLP/WebAgent.git
   

   进入 WebDancer 文件夹：

   cd WebAgent/WebDancer
   

3. 创建虚拟环境：
   使用 conda 创建一个独立的 Python 环境，避免依赖冲突：

   conda create -n webdancer python=3.12
   

   激活环境：

   conda activate webdancer
   

4. 安装依赖：
   在 WebDancer 文件夹中，运行以下命令安装所需依赖：

   pip install -r requirements.txt
   

   依赖文件 requirements.txt 包含运行 WebDancer 所需的所有 Python 包。

5. 模型部署：
   WebSailor 支持通过 Alibaba Cloud 的 FunctionAI 一键部署。用户需注册阿里云账户，登录 FunctionAI 平台，按照提示选择 WebSailor-3B 或 WebSailor-72B 模型，点击部署按钮即可完成。部署时间约为 10 分钟。[](https://github.com/Alibaba-NLP/WebAgent)

操作 WebDancer

WebDancer 是一个原生代理搜索模型，适合处理需要深度推理的网络搜索任务。以下是使用步骤：

1. 启动模型：
   在虚拟环境中，进入 WebDancer 目录，运行启动脚本（具体命令需参考仓库内的 README 文件）。通常为：

   python run_webdancer.py
   

2. 输入查询：
   WebDancer 接受文本输入。用户可以在命令行或交互式界面中输入搜索任务，例如“查找 2025 年最新的 AI 会议信息”。模型会自动解析查询，遍历网页，提取相关信息。
3. 查看结果：
   WebDancer 会返回结构化的搜索结果，包括文本摘要、网页链接和相关数据。用户可以进一步筛选或导出结果。
4. 调试与优化：
   如果搜索结果不理想，可调整模型参数（如搜索深度或关键词权重），具体配置方法参考文档中的 config.yaml 文件。

操作 WebSailor

WebSailor 是 WebAgent 的最新组件，性能更强，适合超复杂任务。使用步骤如下：

1. 部署模型：
   如前所述，通过阿里云 FunctionAI 部署 WebSailor。部署完成后，获取 API 端点地址。
2. 调用 API：
   WebSailor 提供 API 接口。用户可通过 Python 脚本发送查询请求：

   import requests
   url = "YOUR_API_ENDPOINT"
   query = {"task": "查找 2025 年开源 AI 模型的最新进展"}
   response = requests.post(url, json=query)
   print(response.json())
   

3. 处理复杂任务：
   WebSailor 擅长处理多步骤任务。例如，查询“比较 2025 年开源 AI 模型与商业模型的性能差异”时，模型会自动拆解任务，搜索多个来源，整合信息，并生成对比报告。
4. 查看日志：
   WebSailor 支持日志记录，方便用户检查搜索路径和推理过程。日志文件通常存储在部署目录的 logs/ 文件夹中。

操作 WebWalker

WebWalker 是一个基准测试工具，适合开发者评估模型性能。使用方法如下：

1. 下载数据集：
   WebWalker 提供 WebWalkerQA 数据集，位于仓库的 dataset/ 目录。运行以下命令下载：

   wget https://github.com/Alibaba-NLP/WebAgent/raw/main/dataset/webwalkerqa.jsonl
   

2. 运行测试：
   使用测试脚本运行基准测试：

   python evaluate_webwalker.py --dataset webwalkerqa.jsonl
   

3. 分析结果：
   测试完成后，模型性能报告会显示准确率、召回率等指标，保存在 results/ 目录。

特色功能操作

• SailorFog-QA 数据集：用户可直接下载 sailorfog-QA.jsonl 文件，用于训练或评估其他模型。文件路径：

  WebAgent/dataset/sailorfog-QA.jsonl
  

• 强化学习优化：WebAgent 使用 DUPO 算法优化模型。开发者可参考 train/ 目录中的脚本，调整超参数以提升模型性能。
• 交互式演示：WebDancer 提供在线演示界面（需访问仓库中的 demo 链接）。用户可通过浏览器输入查询，体验模型的搜索能力。

注意事项

• 确保网络连接稳定，部分功能需要访问外部网页。
• WebSailor-72B 模型对硬件要求较高，建议使用高性能 GPU 或云服务。
• 定期检查 GitHub 仓库更新，获取最新模型和数据。

应用场景

1. 学术研究
   WebAgent 适合研究人员搜索学术论文、会议信息或技术报告。例如，输入“查找 2025 年 ACL 会议的论文主题”，WebSailor 会自动抓取官网数据，整理出主题列表和相关链接。
2. 市场分析
   企业用户可利用 WebAgent 收集市场趋势或竞品信息。例如，查询“2025 年 AI 芯片市场的最新动态”，模型会整合新闻、报告和社交媒体数据。
3. 日常信息查询
   普通用户可使用 WebDancer 快速查找生活信息，如“推荐 2025 年最佳旅游目的地”，模型会提供详细的地点介绍和旅行建议。
4. 开发者测试
   WebWalker 适合开发者测试模型在网页导航中的表现，帮助优化搜索算法或构建新模型。

QA

1. WebAgent 支持哪些语言？
   WebAgent 主要支持英文和中文搜索任务，性能在 BrowseComp-en（英文）和 BrowseComp-zh（中文）基准测试中表现优异。
2. WebSailor 如何与商业搜索引擎竞争？
   WebSailor-72B 在复杂任务中接近商业搜索引擎水平，特别是在多步骤推理和信息整合方面。其开源特性使其更灵活，适合定制化需求。
3. 如何获取 WebAgent 的最新更新？
   用户可关注 GitHub 仓库（https://github.com/Alibaba-NLP/WebAgent）的通知，或查看 X 平台上的 @Alibaba-NLP 账号获取更新信息。
4. WebAgent 是否需要付费？
   WebAgent 是开源项目，代码和部分数据免费。WebSailor 的云部署可能涉及阿里云服务费用，具体价格需参考阿里云官网。