WebAgent: Ein intelligentes Werkzeug zur Suche und Verarbeitung von Webinformationen

WebAgent ist ein Open-Source-Projekt, das von Alibaba Tongyi Lab entwickelt wurde und sich auf die intelligente Suche und Verarbeitung von Webinformationen konzentriert. Es besteht aus drei Hauptkomponenten: WebWalker, WebDancer und WebSailor. Diese Tools nutzen fortschrittliche Sprachmodelle und Reinforcement-Learning-Techniken, um Benutzer bei der effizienten Erledigung komplexer Suchaufgaben im Web zu unterstützen. webAgent wurde entwickelt, um das Ziel eines autonomen Informationszugriffs zu erreichen, der für eine Vielzahl von Szenarien von der akademischen Forschung bis zur täglichen Abfrage geeignet ist. Das Projekt ist als Open-Source-Projekt auf GitHub verfügbar, wobei der Code und einige Daten für Entwickler frei zugänglich sind, und hat mit mehr als 4.000 Sternen und Hunderten von Forks viel Aufmerksamkeit erregt. webAgent verbessert seine Leistung durch kontinuierliche Aktualisierungen und Unterstützung durch die Community, und das WebSailor-72B-Modell schneidet in mehreren komplexen Browsing-Benchmarks gut ab und nähert sich dem Niveau kommerzieller Suchmaschinen an.

Funktionsliste

• WebWalkerWeb-Traversal-Benchmarking zur Bewertung der Leistung von Sprachmodellen bei der Webnavigation und zur Unterstützung der Zusammenarbeit mehrerer Agenten bei der Informationssuche.
• WebDancerNatives Agenten-Suchmodell, das sich auf die autonome Informationssuche konzentriert und Folgendes integriert ReAct Rahmen, der effiziente Suchfunktionen zur Verfügung stellt.
• WebSailorEin neu veröffentlichtes Agentenmodell, das sich durch die Bewältigung komplexer Informationssuchaufgaben auszeichnet, die Bereitstellung mit nur einem Klick unterstützt und die höchste Leistung unter den Open-Source-Modellen aufweist.
• SailorFog-QA-DatensatzBereitstellung von Q&A-Datensätzen auf hohem Niveau, die durch Graphen-Sampling und Informationsfuzzy generiert werden, um das Modelltraining und die Evaluierung zu unterstützen.
• Verbesserte LernoptimierungDUPO-Algorithmus: Der DUPO-Algorithmus wird zur Kombination von überwachtem Fine-Tuning und Reinforcement Learning verwendet, um die Generalisierungsfähigkeit des Modells bei komplexen Aufgaben zu verbessern.

Hilfe verwenden

Einbauverfahren

WebAgent ist ein Open-Source-Projekt, vor allem durch das GitHub-Repository, um den Code und das Modell zu erhalten. Hier sind die Installationsschritte für WebDancer und WebSailor (WebDancer zum Beispiel, WebSailor ähnlich). Die Benutzer müssen eine grundlegende Python-Programmierumgebung und Git-Tools haben.

1. Vorbereitung der Umwelt::
   • Stellen Sie sicher, dass Python 3.12 oder höher installiert ist.
   • Installieren Sie Git zum Klonen von Repositories.
   • Montage conda Werkzeug zur Paketverwaltung für die Erstellung virtueller Umgebungen.
2. Klon-Lager::
   Führen Sie den folgenden Befehl im Terminal aus, um den WebAgent-Code zu erhalten:

   git clone https://github.com/Alibaba-NLP/WebAgent.git
   

   Wechseln Sie in den WebDancer-Ordner:

   cd WebAgent/WebDancer
   

3. Erstellen einer virtuellen Umgebung::
   ausnutzen conda Erstellen Sie eine separate Python-Umgebung, um Abhängigkeitskonflikte zu vermeiden:

   conda create -n webdancer python=3.12
   

   Aktivieren Sie die Umwelt:

   conda activate webdancer
   

4. Installation von Abhängigkeiten::
   Führen Sie im WebDancer-Ordner den folgenden Befehl aus, um die erforderlichen Abhängigkeiten zu installieren:

   pip install -r requirements.txt
   

   Abhängigkeiten requirements.txt Enthält alle Python-Pakete, die zum Betrieb von WebDancer benötigt werden.

5. Einsatz des Modells::
   WebSailor unterstützt die Ein-Klick-Bereitstellung über die FunctionAI von Alibaba Cloud. Benutzer müssen sich für ein Alibaba Cloud-Konto registrieren, sich bei der FunctionAI-Plattform anmelden, den Aufforderungen zur Auswahl des WebSailor-3B- oder WebSailor-72B-Modells folgen und zum Abschluss auf die Schaltfläche für die Bereitstellung klicken. Die Bereitstellung dauert etwa 10 Minuten. [](https://github.com/Alibaba-NLP/WebAgent)

Bedienung des WebDancers

WebDancer ist ein natives Agenten-Suchmodell, das für die Bearbeitung von Websuchaufgaben geeignet ist, die tiefgreifende Überlegungen erfordern. Hier sind die Schritte, um es zu verwenden:

1. Grundierungsmodell::
   Wechseln Sie in der virtuellen Umgebung in das WebDancer-Verzeichnis und führen Sie das Startskript aus (die genauen Befehle finden Sie in der README-Datei im Repository). Normalerweise:

   python run_webdancer.py
   

2. Eingabe einer Abfrage::
   WebDancer akzeptiert Texteingaben. Benutzer können eine Suchaufgabe, wie z. B. "Finde Informationen über die neuesten KI-Konferenzen im Jahr 2025", in die Befehlszeile oder in eine interaktive Schnittstelle eingeben. Das Modell analysiert die Abfrage automatisch, durchläuft die Seite und extrahiert relevante Informationen.
3. Ergebnisse anzeigen::
   WebDancer liefert strukturierte Suchergebnisse, einschließlich Textzusammenfassungen, Weblinks und zugehörige Daten. Benutzer können die Ergebnisse weiter filtern oder exportieren.
4. Fehlersuche und Optimierung::
   Wenn die Suchergebnisse nicht zufriedenstellend sind, können Sie die Modellparameter anpassen (z. B. die Suchtiefe oder die Gewichtung der Schlüsselwörter), wobei sich die spezifische Konfigurationsmethode auf das Dokument config.yaml Dokumentation.

Bedienung von WebSailor

WebSailor ist die neueste Komponente von WebAgent, die leistungsfähiger ist und sich für hochkomplexe Aufgaben eignet. Die Schritte, um es zu verwenden, sind wie folgt:

1. Bereitstellungsmodell::
   Stellen Sie WebSailor über AliCloud FunctionAI bereit, wie zuvor beschrieben. Nachdem die Bereitstellung abgeschlossen ist, erhalten Sie die API-Endpunktadresse.
2. Aufrufen der API::
   WebSailor bietet eine API-Schnittstelle. Benutzer können Abfrageanfragen über Python-Skripte senden:

   import requests
   url = "YOUR_API_ENDPOINT"
   query = {"task": "查找 2025 年开源 AI 模型的最新进展"}
   response = requests.post(url, json=query)
   print(response.json())
   

3. Handhabung komplexer Aufgaben::
   WebSailor eignet sich hervorragend für mehrstufige Aufgaben. Bei der Abfrage "Vergleich des Leistungsunterschieds zwischen Open-Source-KI-Modellen und kommerziellen Modellen im Jahr 2025" beispielsweise gliedert das Modell die Aufgabe automatisch auf, durchsucht mehrere Quellen, konsolidiert die Informationen und erstellt einen Vergleichsbericht.
4. Ansicht Log::
   WebSailor unterstützt die Protokollierung, um es den Benutzern zu erleichtern, Suchpfade und Argumentationsprozesse zu untersuchen. Protokolldateien werden normalerweise im Bereitstellungsverzeichnis des logs/ Ordner.

Bedienung von WebWalker

WebWalker ist ein Benchmarking-Tool für Entwickler zur Bewertung der Modellleistung. Es ist wie folgt zu verwenden:

1. Datensatz herunterladen::
   WebWalker stellt den WebWalkerQA-Datensatz zur Verfügung, der sich im Repository unter dataset/ Verzeichnis. Führen Sie den folgenden Befehl zum Herunterladen aus:

   wget https://github.com/Alibaba-NLP/WebAgent/raw/main/dataset/webwalkerqa.jsonl
   

2. Einsatzprüfung::
   Führen Sie Benchmark-Tests mit Hilfe von Testskripten durch:

   python evaluate_webwalker.py --dataset webwalkerqa.jsonl
   

3. Analyse::
   Nach Abschluss des Tests zeigt der Bericht über die Modellleistung Metriken wie Genauigkeit, Wiedererkennung usw. an, die in der Datei results/ Katalog.

Featured Function Bedienung

• SailorFog-QA-DatensatzBenutzer können direkt herunterladen sailorfog-QA.jsonl Datei zum Trainieren oder Evaluieren anderer Modelle. Dateipfad:

  WebAgent/dataset/sailorfog-QA.jsonl
  

• Verbesserte LernoptimierungWebAgent verwendet den DUPO-Algorithmus, um das Modell zu optimieren. Entwickler können sich auf train/ Skript im Verzeichnis, um die Hyperparameter zur Verbesserung der Modellleistung anzupassen.
• Interaktive PräsentationWebDancer bietet eine Online-Demo-Schnittstelle (Sie müssen den Demo-Link im Repository besuchen). Benutzer können die Suchfunktion des Modells durch Eingabe einer Abfrage über einen Browser testen.

caveat

• Stellen Sie eine stabile Internetverbindung sicher, da einige Funktionen den Zugriff auf externe Webseiten erfordern.
• Das Modell WebSailor-72B stellt hohe Anforderungen an die Hardware und es wird ein leistungsstarker Grafikprozessor oder ein Cloud-Service empfohlen.
• Prüfen Sie das GitHub-Repository regelmäßig auf Updates, um die neuesten Modelle und Daten zu erhalten.

Anwendungsszenario

1. akademische Forschung
   WebAgent ist ideal für Forscher, die nach akademischen Papieren, Konferenzinformationen oder technischen Berichten suchen. Wenn Sie zum Beispiel "Find paper topics for ACL 2025" eingeben, durchsucht WebSailor automatisch die offizielle Website und stellt eine Liste von Themen und zugehörigen Links zusammen.
2. Marktanalyse
   Geschäftskunden können WebAgent nutzen, um Informationen über Markttrends oder konkurrierende Produkte zu sammeln. Wenn Sie zum Beispiel "Latest AI Chip Market Update 2025" abfragen, integriert das Modell Nachrichten, Berichte und Daten aus sozialen Medien.
3. Tägliche Informationsanfragen
   Regelmäßige Nutzer können WebDancer nutzen, um schnell Informationen über ihr Leben zu finden, z. B. "Schlagen Sie die besten Reiseziele für 2025 vor", und das Modell wird detaillierte Beschreibungen der Orte und Reisetipps liefern.
4. Entwickler-Tests
   WebWalker eignet sich für Entwickler, um die Leistung von Modellen in der Webnavigation zu testen, um die Optimierung von Suchalgorithmen zu unterstützen oder um neue Modelle zu erstellen.

QA

1. Welche Sprachen werden von WebAgent unterstützt?
   WebAgent unterstützt hauptsächlich englische und chinesische Suchaufgaben und schneidet in den Benchmarks BrowseComp-en (Englisch) und BrowseComp-zh (Chinesisch) gut ab.
2. Wie konkurriert WebSailor mit kommerziellen Suchmaschinen?
   WebSailor-72B nähert sich bei komplexen Aufgaben dem Niveau kommerzieller Suchmaschinen an, insbesondere bei mehrstufigen Schlussfolgerungen und der Informationsintegration. Durch seinen Open-Source-Charakter ist er flexibler und für Anpassungen geeignet.
3. Wie erhalte ich die neuesten Updates für WebAgent?
   Benutzer können Benachrichtigungen auf dem GitHub-Repository (https://github.com/Alibaba-NLP/WebAgent) verfolgen oder das @Alibaba-NLP-Konto auf der X-Plattform auf Updates überprüfen.
4. Ist die Nutzung von WebAgent kostenpflichtig?
   WebAgent ist ein Open-Source-Projekt, der Code und ein Teil der Daten kostenlos.WebSailor's Cloud-Bereitstellung kann die Kosten für AliCloud Dienstleistungen, die spezifischen Preis sollte auf der offiziellen Website AliCloud beziehen.