Step3のインストールと展開には以下の手順が必要です:
- GitHubリポジトリのクローン:
git clone https://github.com/stepfun-ai/Step3.git - Python環境(Python 3.10以上を推奨)をセットアップし、PyTorch(≥2.1.0)とTransformersライブラリ(4.54.0)をインストールする。
- ハギング・フェイスのモデルウエイトをダウンロードする:
git clone https://huggingface.co/stepfun-ai/step3 - 展開モデルでは、vLLMまたはSGLang推論エンジンを使用することを推奨します。例えば、サービスを開始するにはvLLMを使用します:
python -m vllm.entrypoints.api_server --model stepfun-ai/step3 --port 8000
最適なパフォーマンスを得るためには、マルチGPU環境(例えば、それぞれ80GBのビデオメモリを搭載した4つのA800/H800 GPU)での導入を推奨します。
この答えは記事から得たものである。Step3: マルチモーダルコンテンツのためのオープンソースマクロモデルの効率的な生成について































