Step3 シームレスなプレーを実現するには
- ネイティブサポート OpenAI/Anthropic互換のREST API インターフェースプロトコル、リクエストフォーマットは同一
- 標準化された
/v1/completions
JSON形式のテキスト/画像混在入力をサポートするエンドポイント
実施ステップ
- とおす
git clone https://github.com/stepfun-ai/Step3.git
コードを取得 - 利用する
python -m vllm.entrypoints.api_server
サービスを開始する(デフォルトポート8000) - サンプルコードを参照して、オリジナルのOpenAIクライアントの
base_url
ローカルアドレス
テストでは、既存アプリケーションの移行にかかる平均変換時間を2時間未満に抑えられることが示されている。
この答えは記事から得たものである。Step3: マルチモーダルコンテンツのためのオープンソースマクロモデルの効率的な生成について