O AgentVerse é compatível com os principais serviços de modelos de linguagem grandes e soluções de implantação local. A nuvem é compatível com APIs OpenAI (por exemplo, GPT-3.5) e serviços Azure OpenAI, enquanto o modelo local é compatível com modelos de código aberto, como LLaMA, Vicuna etc. O projeto fornece uma cadeia de suporte completa para implantação local, incluindo instalação de dependência dedicada (requirements_local.txt) e inicialização do servidor local. Para a implantação local, o projeto fornece uma cadeia de suporte completa, incluindo a instalação de dependências dedicadas (requirements_local.txt) e o script de inicialização do servidor local (run_local_model_server.sh). Os usuários têm a flexibilidade de alternar entre os tipos de modelo modificando o arquivo de configuração YAML, por exemplo, alterando a variável llm_type A configuração como local invoca o modelo LLaMA-2-7B implantado localmente. Além disso, o projeto também integra o suporte ao vLLM para lidar com tarefas de inferência em grande escala.
Essa resposta foi extraída do artigoAgentVerse: uma estrutura de código aberto para a implementação de colaboração e simulação de inteligência múltiplaO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch