AgentVerseは,現在主流の大規模言語モデルサービスやローカルデプロイメントソリューションと互換性があります。クラウドでは,OpenAI API(GPT-3.5など)やAzure OpenAIサービスをサポートし,ローカルモデルでは,LLaMAやVicunaなどのオープンソースモデルをサポートします.プロジェクトは,専用の依存関係のインストール(requirements_local.txt)やローカルサーバの起動を含む,ローカルデプロイのための完全なサポートチェーンを提供します.ローカルデプロイメントのために、プロジェクトは専用の依存関係のインストール(requirements_local.txt)とローカルサーバーのスタートアップスクリプト(run_local_model_server.sh)を含む完全なサポートチェーンを提供します。ユーザーは YAML 設定ファイルを修正することでモデルの種類を柔軟に切り替えることができます。 llm_type
localに設定すると、ローカルに配置されたLLaMA-2-7Bモデルを呼び出す。さらに、このプロジェクトでは、大規模推論タスクを処理するためのvLLMサポートも統合している。
この答えは記事から得たものである。AgentVerse:マルチインテリジェンス・コラボレーションとシミュレーションを展開するためのオープンソース・フレームワークについて