WebAgent：インテリジェントなWeb情報検索・処理ツール

WebAgentはAlibaba Tongyi Labによって開発されたオープンソースプロジェクトで、インテリジェントなウェブ情報の検索と処理に焦点を当てています。WebWalker、WebDancer、WebSailorの3つの主要コンポーネントで構成されている。これらのツールは、高度な言語モデルと強化学習技術を使用して、ユーザーが複雑なウェブ情報検索タスクを効率的に完了できるように支援する。WebAgentは、自律的な情報アクセスの目標を達成するように設計されており、学術研究から日常的な問い合わせまで、さまざまなシナリオに適用できる。このプロジェクトはGitHubでオープンソース化されており、コードと一部のデータは開発者が自由に利用することができます。WebAgentは、継続的なアップデートとコミュニティによるサポートを通じてパフォーマンスを改善し続けており、WebSailor-72Bモデルは、いくつかの複雑なブラウジングベンチマークで優れたパフォーマンスを発揮し、商用検索エンジンのレベルに近づいています。

機能一覧

• ウェブウォーカーウェブナビゲーションにおける言語モデルの性能を評価するためのウェブトラバーサルベンチマークを提供し、情報検索タスクにおけるマルチエージェントコラボレーションをサポートする。
• ウェブダンサー自律的な情報探索に焦点を当てたネイティブ・エージェント探索モデル。 リ・アクト 効率的な検索推論機能を提供するフレームワーク。
• ウェブセーラー複雑な情報検索タスクの処理に優れ、ワンクリックのデプロイをサポートし、オープンソースモデルの中で最高のパフォーマンスを持つエージェントモデルが新たにリリースされました。
• SailorFog-QAデータセットグラフサンプリングと情報ファジィ化によって生成された高レベルのQ&Aデータセットを提供し、モデルのトレーニングと評価をサポートする。
• 学習の最適化DUPOアルゴリズムは、教師あり微調整と強化学習を組み合わせることで、複雑なタスクにおけるモデルの汎化能力を向上させる。

ヘルプの使用

設置プロセス

WebAgentはオープンソースプロジェクトで、主にGitHubリポジトリからコードとモデルを入手できます。ここでは、WebDancerとWebSailor（WebDancerは例、WebSailorは類似）のインストール手順を説明します。基本的なPythonプログラミング環境とGitツールが必要です。

1. 環境準備::
   • Python 3.12以降がインストールされていることを確認してください。
   • リポジトリを複製するためにGitをインストールする。
   • 取り付け conda 仮想環境を作成するためのパッケージ管理ツール。
2. クローン倉庫::
   ターミナルで以下のコマンドを実行し、WebAgentコードを取得する：

   git clone https://github.com/Alibaba-NLP/WebAgent.git
   

   WebDancerフォルダに移動します：

   cd WebAgent/WebDancer
   

3. 仮想環境の構築::
   利用する conda 依存関係の衝突を避けるために、別のPython環境を作成する：

   conda create -n webdancer python=3.12
   

   環境を活性化させる：

   conda activate webdancer
   

4. 依存関係のインストール::
   WebDancerフォルダで、以下のコマンドを実行し、必要な依存関係をインストールします：

   pip install -r requirements.txt
   

   依存関係 requirements.txt WebDancerの実行に必要なすべてのPythonパッケージが含まれています。

5. モデル展開::
   WebSailorはAlibaba CloudのFunctionAIを通じてワンクリックでデプロイできます。ユーザーはAlibaba Cloudアカウントに登録し、FunctionAIプラットフォームにログインし、プロンプトに従ってWebSailor-3BまたはWebSailor-72Bモデルを選択し、デプロイボタンをクリックして完了する必要があります。デプロイ時間は約10分です。[](https://github.com/Alibaba-NLP/WebAgent)

WebDancerの操作

WebDancerは、深い推論を必要とするウェブ検索タスクを処理するのに適したネイティブエージェント検索モデルです。使い方は以下の通りです：

1. プライミングモデル::
   仮想環境で、WebDancerディレクトリに移動し、起動スクリプトを実行します(正確なコマンドはリポジトリのREADMEファイルを参照する必要があります)。通常は

   python run_webdancer.py
   

2. クエリーを入力する::
   WebDancerはテキスト入力を受け付ける。ユーザーは、コマンドラインまたは対話型インターフェースで、「2025年の最新のAIカンファレンスに関する情報を検索する」といった検索タスクを入力することができる。モデルは自動的にクエリを解析し、ページを横断し、関連する情報を抽出する。
3. 結果を見る::
   WebDancerは、テキスト要約、ウェブリンク、関連データを含む構造化された検索結果を返します。ユーザーは、さらに結果をフィルタリングしたり、エクスポートすることができます。
4. デバッグと最適化::
   検索結果が満足のいくものでない場合、モデルのパラメータ（検索の深さやキーワードの重みなど）を調整することができます。 config.yaml ドキュメンテーション

ウェブセーラーの操作

WebSailorはWebAgentの最新コンポーネントで、より強力で超複雑なタスクに適しています。使い方は以下の通りです：

1. 配備モデル::
   デプロイ完了後、APIエンドポイントアドレスを取得します。
2. APIの呼び出し::
   WebSailorはAPIインターフェースを提供しています。ユーザーはPythonスクリプトでクエリーリクエストを送信できます：

   import requests
   url = "YOUR_API_ENDPOINT"
   query = {"task": "查找 2025 年开源 AI 模型的最新进展"}
   response = requests.post(url, json=query)
   print(response.json())
   

3. 複雑なタスクを処理する::
   WebSailorは複数ステップのタスクを得意とする。例えば、「2025年におけるオープンソースのAIモデルと商用モデルの性能差を比較せよ」というクエリを実行すると、このモデルは自動的にタスクを分解し、複数のソースを検索して情報を統合し、比較レポートを生成する。
4. ログを見る::
   WebSailor は、ユーザーが検索パスと推論プロセスを簡単に調べることができるように、ロギングをサポートしています。ログファイルは通常 logs/ フォルダー

WebWalkerの操作

WebWalkerは、開発者がモデルのパフォーマンスを評価するためのベンチマークツールです。使い方は以下の通りです：

1. データセットをダウンロード::
   WebWalkerは、リポジトリの dataset/ ディレクトリ。以下のコマンドを実行してダウンロードする：

   wget https://github.com/Alibaba-NLP/WebAgent/raw/main/dataset/webwalkerqa.jsonl
   

2. 動作試験::
   テストスクリプトを使用してベンチマークテストを実行する：

   python evaluate_webwalker.py --dataset webwalkerqa.jsonl
   

3. 分析::
   テストが完了すると、モデル・パフォーマンス・レポートには、精度、リコールなどのメトリクスが表示されます。 results/ カタログ

注目の機能操作

• SailorFog-QAデータセットユーザーが直接ダウンロードできる sailorfog-QA.jsonl ファイルを他のモデルのトレーニングや評価に使用する。ファイルパス

  WebAgent/dataset/sailorfog-QA.jsonl
  

• 学習の最適化WebAgent は DUPO アルゴリズムを使用してモデルを最適化します。開発者は以下を参照できます。 train/ ディレクトリにあるスクリプトを使ってハイパーパラメータを調整し、モデルのパフォーマンスを向上させる。
• インタラクティブ・プレゼンテーションWebDancerは、オンラインデモインターフェイスを提供します。ユーザーは、ブラウザを通してクエリを入力することで、モデルの検索機能を体験することができます。

ほら

• 安定したインターネット接続を確保してください。一部の機能では、外部のウェブページにアクセスする必要があります。
• WebSailor-72Bモデルはハードウェア要件が高く、高性能GPUまたはクラウドサービスを推奨します。
• GitHubリポジトリの更新を定期的にチェックして、最新のモデルとデータを入手しよう。

アプリケーションシナリオ

1. 学術研究
   WebAgentは、学術論文、学会情報、技術報告書を検索する研究者に最適です。例えば、「Find paper topics for ACL 2025」と入力すると、WebSailorが自動的に公式ウェブサイトをクロールし、トピックと関連リンクのリストを作成します。
2. 市場分析
   ビジネス・ユーザーは、WebAgentを使って市場動向や競合製品に関する情報を収集することができる。例えば、「最新のAIチップ市場アップデート2025」とクエリすると、モデルはニュース、レポート、ソーシャルメディアデータを統合します。
3. 日々の情報照会
   一般ユーザーはWebDancerを使って、「2025年に訪れるべき最高の目的地を推薦する」など、生活に関する情報を素早く見つけることができ、このモデルは場所の詳細な説明や旅行のアドバイスを提供する。
4. 開発者テスト
   WebWalkerは、開発者がウェブナビゲーションにおけるモデルの性能をテストしたり、検索アルゴリズムの最適化に役立てたり、新しいモデルを構築したりするのに適している。

品質保証

1. WebAgentはどの言語をサポートしていますか？
   WebAgent は主に英語と中国語の検索タスクをサポートしており、BrowseComp-en（英語）と BrowseComp-zh（中国語）のベンチマークで良好な結果を示しています。
2. WebSailorは商用検索エンジンとどのように競合するのですか？
   WebSailor-72Bは、複雑なタスク、特に多段階推論と情報統合において、商用検索エンジンのレベルに近づいています。オープンソースであるため、柔軟性が高く、カスタマイズのニーズにも適しています。
3. WebAgentの最新アップデートはどのように入手できますか？
   ユーザーはGitHubリポジトリ（https://github.com/Alibaba-NLP/WebAgent）の通知をフォローするか、Xプラットフォームの@Alibaba-NLPアカウントでアップデートを確認することができます。
4. WebAgentは有料ですか？
   WebSailorのクラウド展開は、AliCloudサービスのコストを伴う可能性があり、具体的な価格はAliCloudの公式ウェブサイトを参照してください。