OpenAOEはオープンソースの大規模モデルグループチャットフレームワークで、現在の市場には複数のモデルに並行して対応するチャットフレームワークがないという問題を解決することを目的としています。OpenAOEを使えば、ユーザーは複数の大規模言語モデル（LLM）と同時に会話し、並列出力を得ることができます。このフレームワークは、GPT-4、Google Palm、Minimax、Claudeなど、複数の商用およびオープンソースのLLM APIへのアクセスをサポートしており、ユーザーは他のLLM APIへのアクセスをカスタマイズすることができます。OpenAOEは、様々なユーザーのニーズを満たすために、バックエンドAPIとWeb-UIを提供しており、LLM研究者、評価者、エンジニアリング開発者、非専門家に適しています。開発者および非専門家に適しています。
機能一覧
- マルチモデル・パラレルレスポンス並列出力を得るために、複数の大規模言語モデルとの会話を同時にサポート。
- 商用およびオープンソースモデルへのアクセスGPT-4、Google Palm、Minimax、Claude、その他の商用およびオープンソースの大規模言語モデルAPIへのアクセスをサポートします。
- カスタムモデルへのアクセス他のビッグモデルAPIへのユーザー定義のアクセスを可能にする。
- バックエンドAPIとWeb-UIバックエンドAPIとWeb-UIを提供し、さまざまなユーザーのニーズに対応。
- 複数の動作モードpip, docker, source経由でのOpenAOEの実行をサポート。
ヘルプの使用
設置プロセス
pipによるインストール
- Pythonのバージョンが3.9以上であることを確認してください。
- 以下のコマンドを実行して、OpenAOEをインストールします：
pip install -U openaoe
- 設定ファイルを使用してOpenAOEを起動します：
openaoe -f /path/to/your/config-template.yaml
dockerによるインストール
- OpenAOE の docker イメージを取得します：
docker pull opensealion/openaoe:latest
またはドッカーイメージをビルドする：
git clone https://github.com/internlm/OpenAOE
cd OpenAOE
docker build . -f docker/Dockerfile -t opensealion/openaoe:latest
- docker コンテナを起動します：
docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest
使用ガイドライン
- 設定ファイルOpenAOEを起動する前に、設定ファイル
config-template.yamlこのファイルはバックエンドとフロントエンドの設定をコントロールするために使用される。 - アクセスモデルAPI設定ファイルでは、GPT-4、Google Palm、Minimax、Claudeなど、アクセスする必要があるモデルAPIを設定することができます。また、他の大きなモデルAPIへのアクセスをカスタマイズすることもできます。
- サービス開始インストール後、OpenAOEサービスを起動し、提供されるWeb-UIから操作することも、バックエンドAPIから統合することもできます。
- パラレル・ダイアログWeb-UIでは、ユーザーがプロンプトの単語を入力すると、OpenAOEが複数の大規模言語モデルに同時にリクエストを送信し、並列応答を返します。
- 結果の分析異なるモデルの応答結果を比較し、分析・評価することができます。
