WebAgent: uma ferramenta inteligente de pesquisa e processamento de informações da Web

O WebAgent é um projeto de código aberto desenvolvido pelo Alibaba Tongyi Lab, com foco na pesquisa e no processamento inteligentes de informações da Web. Ele é composto por três componentes principais: WebWalker, WebDancer e WebSailor. Essas ferramentas usam modelos avançados de linguagem e técnicas de aprendizagem por reforço para ajudar os usuários a concluir com eficiência tarefas complexas de busca de informações na Web. O webAgent foi projetado para atingir a meta de acesso autônomo a informações, aplicável a uma variedade de cenários, desde pesquisas acadêmicas até consultas diárias. O projeto é de código aberto no GitHub, e o código e alguns dados estão disponíveis gratuitamente para os desenvolvedores, atraindo muita atenção, com mais de 4.000 estrelas e centenas de bifurcações. O WebAgent continua a melhorar seu desempenho por meio da atualização contínua e do suporte da comunidade, e o modelo WebSailor-72B tem um bom desempenho em vários benchmarks de navegação complexos, aproximando-se do nível dos mecanismos de pesquisa comerciais.

Lista de funções

• WebWalkerAnálise comparativa da travessia da Web para avaliar o desempenho dos modelos de linguagem na navegação na Web e oferecer suporte à colaboração de vários agentes em tarefas de pesquisa de informações.
• WebDancerModelo de pesquisa de agente nativo, com foco na pesquisa autônoma de informações, integrando ReAct que fornece recursos eficientes de raciocínio de pesquisa.
• WebSailorUm modelo de agente recém-lançado que se destaca no tratamento de tarefas complexas de pesquisa de informações, suporta a implantação com um clique e tem um dos desempenhos mais altos entre os modelos de código aberto.
• Conjunto de dados SailorFog-QAFornecimento de conjuntos de dados de Q&A de alto nível, gerados por amostragem de gráficos e fuzzificação de informações, para dar suporte ao treinamento e à avaliação de modelos.
• Otimização do aprendizado aprimoradoO algoritmo DUPO é usado para combinar o ajuste fino supervisionado e o aprendizado por reforço para melhorar a capacidade de generalização do modelo em tarefas complexas.

Usando a Ajuda

Processo de instalação

O WebAgent é um projeto de código aberto, principalmente por meio do repositório do GitHub para obter o código e o modelo. Aqui estão as etapas de instalação do WebDancer e do WebSailor (WebDancer, por exemplo, e WebSailor, semelhante). Os usuários precisam ter um ambiente básico de programação Python e ferramentas Git.

1. Preparação ambiental::
   • Certifique-se de que o Python 3.12 ou posterior esteja instalado.
   • Instale o Git para clonar repositórios.
   • montagem conda Ferramenta de gerenciamento de pacotes para a criação de ambientes virtuais.
2. armazém de clones::
   Execute o seguinte comando no terminal para obter o código do WebAgent:

   git clone https://github.com/Alibaba-NLP/WebAgent.git
   

   Vá para a pasta WebDancer:

   cd WebAgent/WebDancer
   

3. Criação de um ambiente virtual::
   fazer uso de conda Crie um ambiente Python separado para evitar conflitos de dependência:

   conda create -n webdancer python=3.12
   

   Ativar o ambiente:

   conda activate webdancer
   

4. Instalação de dependências::
   Na pasta WebDancer, execute o seguinte comando para instalar as dependências necessárias:

   pip install -r requirements.txt
   

   Dependências requirements.txt Contém todos os pacotes Python necessários para executar o WebDancer.

5. Implementação do modelo::
   O WebSailor suporta a implantação com um clique por meio do FunctionAI da Alibaba Cloud. Os usuários precisam se registrar em uma conta do Alibaba Cloud, fazer login na plataforma FunctionAI, seguir as instruções para selecionar o modelo WebSailor-3B ou WebSailor-72B e clicar no botão de implementação para concluir. O tempo de implementação é de cerca de 10 minutos. [](https://github.com/Alibaba-NLP/WebAgent)

Operação do WebDancer

O WebDancer é um modelo de pesquisa de agente nativo adequado para lidar com tarefas de pesquisa na Web que exigem raciocínio profundo. Veja a seguir as etapas para usá-lo:

1. modelo de priming::
   No ambiente virtual, vá para o diretório do WebDancer e execute o script de inicialização (é necessário consultar o arquivo README no repositório para obter os comandos exatos). Normalmente:

   python run_webdancer.py
   

2. Insira uma consulta::
   O WebDancer aceita entrada de texto. Os usuários podem inserir uma tarefa de pesquisa, como "Encontrar informações sobre as últimas conferências de IA em 2025", na linha de comando ou em uma interface interativa. O modelo analisa automaticamente a consulta, percorre a página e extrai informações relevantes.
3. Exibir resultados::
   O WebDancer retorna resultados de pesquisa estruturados, incluindo resumos de texto, links da Web e dados relacionados. Os usuários podem filtrar ou exportar os resultados.
4. Depuração e otimização::
   Se os resultados da pesquisa não forem satisfatórios, você poderá ajustar os parâmetros do modelo (como a profundidade da pesquisa ou os pesos das palavras-chave); o método de configuração específico refere-se ao documento config.yaml Documentação.

Operação do WebSailor

O WebSailor é o componente mais recente do WebAgent, que é mais avançado e adequado para tarefas ultracomplexas. As etapas para usá-lo são as seguintes:

1. modelo de implantação::
   Implante o WebSailor por meio do AliCloud FunctionAI, conforme descrito anteriormente. Após a implantação, obtenha o endereço do endpoint da API.
2. Chamando a API::
   O WebSailor oferece uma interface de API. Os usuários podem enviar solicitações de consulta por meio de scripts Python:

   import requests
   url = "YOUR_API_ENDPOINT"
   query = {"task": "查找 2025 年开源 AI 模型的最新进展"}
   response = requests.post(url, json=query)
   print(response.json())
   

3. Lidar com tarefas complexas::
   O WebSailor é excelente em tarefas de várias etapas. Por exemplo, ao consultar "Compare a diferença de desempenho entre modelos de IA de código aberto e modelos comerciais em 2025", o modelo divide automaticamente a tarefa, pesquisa várias fontes, consolida as informações e gera um relatório de comparação.
4. Ver registro::
   O WebSailor oferece suporte ao registro em log para facilitar aos usuários o exame dos caminhos de pesquisa e dos processos de raciocínio. Os arquivos de registro geralmente são armazenados no diretório de implantação do logs/ pasta.

Operação do WebWalker

O WebWalker é uma ferramenta de benchmarking para que os desenvolvedores avaliem o desempenho do modelo. Como usá-la é o seguinte:

1. Baixar conjunto de dados::
   O WebWalker fornece o conjunto de dados do WebWalkerQA, localizado no repositório dataset/ Diretório. Execute o seguinte comando para fazer o download:

   wget https://github.com/Alibaba-NLP/WebAgent/raw/main/dataset/webwalkerqa.jsonl
   

2. teste operacional::
   Executar testes de benchmark usando scripts de teste:

   python evaluate_webwalker.py --dataset webwalkerqa.jsonl
   

3. análise::
   Após a conclusão do teste, o relatório de desempenho do modelo exibe métricas como precisão, recuperação, etc., salvas no arquivo results/ Catálogo.

Operação da função em destaque

• Conjunto de dados SailorFog-QAOs usuários podem fazer o download diretamente sailorfog-QA.jsonl para treinamento ou avaliação de outros modelos. Caminho do arquivo:

  WebAgent/dataset/sailorfog-QA.jsonl
  

• Otimização do aprendizado aprimoradoO WebAgent usa o algoritmo DUPO para otimizar o modelo. Os desenvolvedores podem consultar train/ no diretório para ajustar os hiperparâmetros para melhorar o desempenho do modelo.
• Demonstração interativaO WebDancer fornece uma interface de demonstração on-line (você precisa acessar o link de demonstração no repositório). Os usuários podem experimentar o recurso de pesquisa do modelo inserindo uma consulta por meio de um navegador.

advertência

• Garanta uma conexão estável com a Internet, pois algumas funções exigem acesso a páginas da Web externas.
• O modelo WebSailor-72B tem altos requisitos de hardware e recomenda-se uma GPU de alto desempenho ou um serviço de nuvem.
• Verifique regularmente se há atualizações no repositório do GitHub para obter os modelos e dados mais recentes.

cenário do aplicativo

1. pesquisa acadêmica
   O WebAgent é ideal para pesquisadores que buscam artigos acadêmicos, informações sobre conferências ou relatórios técnicos. Por exemplo, se você digitar "Find paper topics for ACL 2025", o WebSailor rastreará automaticamente o site oficial e compilará uma lista de tópicos e links relacionados.
2. análise de mercado
   Os usuários corporativos podem usar o WebAgent para coletar informações sobre tendências de mercado ou produtos concorrentes. Por exemplo, se você consultar "Latest AI Chip Market Update 2025", o modelo integrará notícias, relatórios e dados de mídia social.
3. Solicitação de informações diárias
   Os usuários comuns podem usar o WebDancer para encontrar rapidamente informações sobre suas vidas, como "Melhores destinos recomendados para 2025", e o modelo fornecerá descrições detalhadas dos locais e sugestões de viagem.
4. Teste de desenvolvedor
   O WebWalker é adequado para que os desenvolvedores testem o desempenho dos modelos na navegação na Web, para ajudar a otimizar os algoritmos de pesquisa ou para criar novos modelos.

QA

1. Quais idiomas são compatíveis com o WebAgent?
   O WebAgent suporta principalmente tarefas de pesquisa em inglês e chinês e apresenta bom desempenho nos benchmarks BrowseComp-en (inglês) e BrowseComp-zh (chinês).
2. Como o WebSailor compete com os mecanismos de busca comerciais?
   O WebSailor-72B se aproxima do nível dos mecanismos de busca comerciais em tarefas complexas, especialmente no raciocínio em várias etapas e na integração de informações. Sua natureza de código aberto o torna mais flexível e adequado às necessidades de personalização.
3. Como faço para obter as atualizações mais recentes do WebAgent?
   Os usuários podem acompanhar as notificações no repositório do GitHub (https://github.com/Alibaba-NLP/WebAgent) ou verificar a conta @Alibaba-NLP na plataforma X para obter atualizações.
4. Há alguma taxa para o WebAgent?
   O WebAgent é um projeto de código aberto, o código e parte dos dados são gratuitos. A implantação do WebSailor na nuvem pode envolver o custo dos serviços do AliCloud; o preço específico deve ser consultado no site oficial do AliCloud.