AgentVerse ist mit den aktuellen Mainstream-Diensten für große Sprachmodelle und lokalen Bereitstellungslösungen kompatibel. Die Cloud unterstützt OpenAI-APIs (z. B. GPT-3.5) und Azure OpenAI-Dienste, während das lokale Modell Open-Source-Modelle wie LLaMA, Vicuna usw. unterstützt. Das Projekt bietet eine vollständige Supportkette für die lokale Bereitstellung, einschließlich der Installation spezieller Abhängigkeiten (requirements_local.txt) und des Starts des lokalen Servers. Für die lokale Bereitstellung bietet das Projekt eine vollständige Unterstützungskette, einschließlich der Installation von Abhängigkeiten (requirements_local.txt) und des Startskripts für den lokalen Server (run_local_model_server.sh). Der Wechsel zwischen den Modelltypen kann flexibel durch Modifikation der YAML-Konfigurationsdatei erfolgen, z.B. durch Änderung des Parameters llm_type Die Einstellung "lokal" ruft das lokal eingesetzte LLaMA-2-7B-Modell auf. Darüber hinaus integriert das Projekt auch vLLM-Unterstützung zur Bewältigung umfangreicher Inferenzaufgaben.
Diese Antwort stammt aus dem ArtikelAgentVerse: ein quelloffener Rahmen für den Einsatz von Multi-Intelligenz-Zusammenarbeit und SimulationDie
Deutsch 
简体中文 
English 
日本語 
Português do Brasil