JoyAgent-JDGenie: uma estrutura de inteligência múltipla de código aberto para dar suporte ao processamento automatizado de tarefas complexas

JoyAgent-JDGenie é uma estrutura de corpo de inteligência múltipla de código aberto da Jingdong, com foco na automação de tarefas complexas. Ele tem um bom desempenho em benchmarks GAIA com uma precisão de 75,15%, superando vários produtos semelhantes. A estrutura funciona imediatamente, não depende de plataformas de nuvem e é adequada para implantação local. Os usuários podem inserir consultas ou tarefas para que o sistema automatize operações como geração de código, processamento de documentos e geração de relatórios. Ele suporta a montagem de subinteligências ou ferramentas para se adaptar de forma flexível a diferentes necessidades. O código do projeto está hospedado no GitHub e é baseado na licença Apache-2.0, permitindo que os desenvolvedores o utilizem e modifiquem livremente.

Lista de funções

• Oferece suporte à colaboração de várias inteligências para lidar com tarefas complexas, como código, documentação, geração de relatórios e muito mais.
• Estrutura pronta para uso que funciona sem configurações complexas.
• Oferece suporte à implementação local, não depende de plataformas de nuvem e é adequado para aplicativos de nível empresarial.
• Fornece montagens de ferramentas modulares que podem ser personalizadas com subinteligências para atender a necessidades específicas.
• Recursos multitarefa integrados, como depuração de código, análise de dados e relatórios automatizados.
• Oferece suporte à entrada multimodal e lida com vários tipos de dados, como texto e imagens.
• Fornecer dados de amostra e casos de teste para que os desenvolvedores comecem a trabalhar rapidamente.

Usando a Ajuda

O JoyAgent-JDGenie tem um fluxo de uso claro para que os desenvolvedores possam integrá-lo rapidamente aos seus projetos. Abaixo está um guia detalhado de instalação e uso para ajudar os usuários a começar do zero.

Processo de instalação

1. Preparação ambiental
   Certifique-se de ter o Python 3.8 ou superior e o Git instalados no seu sistema; recomenda-se o Linux ou o macOS; os usuários do Windows precisam instalar o WSL ou usar um ambiente compatível.

   sudo apt update
   sudo apt install python3 python3-pip git
   

2. Clonagem do código do projeto
   Faça download do código-fonte do JoyAgent-JDGenie no repositório do GitHub. Abra um terminal e digite o seguinte comando:

   git clone https://github.com/jd-opensource/joyagent-jdgenie.git
   cd joyagent-jdgenie
   

3. Instalação de dependências
   O projeto depende de várias bibliotecas Python, portanto, certifique-se de instalá-las com antecedência. pip Atualizado. Execute o seguinte comando para instalar as dependências necessárias:

   pip3 install --upgrade pip
   pip3 install -r requirements.txt
   

4. Configuração de variáveis de ambiente
   JoyAgent-JDGenie Suporte AWS Claude e a API da OpenAI como drivers de modelo de linguagem. Você precisa configurar pelo menos uma chave de API. Editar .env (ou crie um novo), adicione o seguinte:

   export OPENAI_API_KEY="你的OpenAI密钥"
   # 或者
   export AWS_CLAUDE_API_KEY="你的Claude密钥"
   

   Depois de salvar, execute source .env Habilite as variáveis de ambiente.

5. Instale o ChromeDriver (opcional)
   Se você precisar lidar com tarefas da Web, precisará instalar o ChromeDriver. Aqui estão os comandos de instalação para Linux:

   wget https://storage.googleapis.com/chrome-for-testing-public/131.0.6778.85/linux64/chromedriver-linux64.zip
   unzip chromedriver-linux64.zip
   sudo mv chromedriver /usr/bin/chromedriver
   sudo chmod +x /usr/bin/chromedriver
   

   Por padrão, o Chrome é executado no modo headless (sem GUI). Para visualizar o navegador, edite o arquivo de configuração e defina a opção headful=True.

6. Verificar a instalação
   Execute o seguinte comando para testar se a estrutura está funcionando corretamente:

   python3 -m simulated_web_agent.main --help
   

   Se uma mensagem de ajuda for exibida, a instalação foi bem-sucedida.

Função Fluxo de operação

A função principal do JoyAgent-JDGenie é realizar tarefas complexas por meio da colaboração de várias inteligências. Abaixo estão os procedimentos operacionais detalhados das principais funções.

1. executar a missão

O projeto fornece 1.000 dados de caracteres de amostra (localizados no example_data/personas/json/) que pode ser usado para testes. O comando para executar a tarefa é o seguinte:

python3 -m simulated_web_agent.main --persona "example_data/personas/json/virtual customer 0.json" --output "output" --llm-provider openai

• --personaEspecifica um arquivo de dados pessoais que contém uma descrição da tarefa, como a compra de um item ou a geração de um relatório.
• --outputDiretório de saída: Especifique o diretório de saída para salvar os resultados da tarefa.
• --llm-providerSeleção de modelos de linguagem (openai talvez claude).

O formato de dados de caractere de exemplo é o seguinte:

{
"persona": "Persona: Michael ...",
"intent": "buy a large, inflatable spider decoration for halloween",
"age": 42,
"gender": "male",
"income": [30001, 94000]
}

Após a execução, o sistema invocará inteligências para concluir operações como navegação na Web, extração de dados ou geração de relatórios, de acordo com os objetivos da tarefa.

2. personalização de subinteligências

O JoyAgent-JDGenie suporta a montagem de subinteligências ou ferramentas para atender a necessidades específicas. Por exemplo, adicionar uma subinteligência para análise de dados:

• existir tools/ para criar um novo script de ferramenta que siga as especificações de interface na documentação do projeto.
• modificações config.yamladicione o caminho da ferramenta:

  tools:
  - path: "tools/custom_analyzer.py"
  name: "DataAnalyzer"
  

• Execute novamente a tarefa e o sistema carregará automaticamente a nova ferramenta.

3. manuseio de tarefas multimodais

A estrutura suporta o processamento de várias entradas, como texto, imagens etc. Por exemplo, carregue uma imagem e solicite a geração de uma descrição:

• Coloque o arquivo de imagem na pasta input/ Catálogo.
• Modifique o perfil da missão para especificar o caminho da imagem e o alvo da missão:

  {
  "input": "input/image.jpg",
  "task": "generate image description"
  }
  

• Ao executar a tarefa, o sistema chama as inteligências multimodais para gerar os resultados.

4. visualização da saída

Após a conclusão da tarefa, os resultados são salvos na pasta --output O diretório especificado. O arquivo de saída inclui o registro da tarefa, o conteúdo gerado e as informações de depuração. Verificar output/ para garantir que a tarefa seja executada corretamente.

advertência

• Verifique se a conexão de rede está estável e se a chave de API é válida.
• Se a tarefa demorar muito para ser executada, ajuste o valor de timeout Parâmetros.
• Atualize regularmente o código do projeto para obter os recursos mais recentes:

  git pull origin main
  

cenário do aplicativo

1. Depuração automatizada de código
   Os desenvolvedores podem usar o JoyAgent-JDGenie para analisar automaticamente os erros de código e gerar sugestões de reparo. Faça upload de um arquivo de código, especifique a tarefa como "Debug Code" e o sistema chamará o corpo inteligente para analisar e gerar uma solução.
2. Gerar relatórios comerciais
   Os usuários corporativos podem inserir dados de vendas ou tarefas de pesquisa de mercado e a estrutura gera automaticamente relatórios estruturados. Ideal para gerar rapidamente análises financeiras ou relatórios de tendências de mercado.
3. Captura de dados na Web
   O sistema suporta navegação automatizada na Web e extração de dados. Por exemplo, se você digitar "capture product prices from e-commerce platforms", um corpo inteligente visitará o site de destino e retornará dados estruturados.
4. Processamento de tarefas personalizadas
   Ao personalizar a subinteligência, os usuários podem implementar funções específicas, como a resposta automática a e-mails ou o processamento em lote de documentos, adequado para cenários de automação de escritório.

QA

1. O JoyAgent-JDGenie requer suporte de serviço em nuvem?
   Não é necessário. A estrutura oferece suporte à implementação local e é adequada para aplicativos corporativos ou ambientes com requisitos de privacidade de dados.
2. Como escolher o modelo de linguagem correto?
   Suporte para OpenAI e AWS Claude. openAI para respostas rápidas, Claude para tarefas complexas. Dependendo de suas necessidades, você pode usar o .env para configurar a chave de API correspondente.
3. Que tipos de tarefas podem ser executadas?
   Há suporte para geração de códigos, processamento de documentos, geração de relatórios, rastreamento da Web e tarefas multimodais. As tarefas específicas são definidas por meio de dados de caracteres ou arquivos de configuração.
4. Como faço para ampliar a funcionalidade?
   existir tools/ para adicionar scripts de ferramentas personalizados e atualizar o config.yaml Documentação. Consulte a documentação oficial para garantir a compatibilidade da interface.