インストールは3つのステップに分かれている:
- モデルウェイトのダウンロードHugging Faceプラットフォームを通じて入手する。
huggingface-cli download openai/gpt-oss-20b
ディレクティブ - Python環境の設定Python 3.12以上が必要で、仮想環境を推奨。
transformers
そしてaccelerate
およびその他の基本的な依存パッケージ - 展開の実行4つの主流オプションがある:
- Transformersライブラリを使ってモデルを直接読み込む
- vLLMフレームワークによるOpenAI互換サーバーの起動
- Ollamaで実行するモデル・イメージを引き出す
- アップルシリコンデバイスでは、重さをメタル形式に変換する必要があります。
特記事項:マッチングgpt-oss
パッケージを使用し、Harmonyフォーマットを有効にしてください。
この答えは記事から得たものである。GPT-OSS:OpenAIの効率的推論のためのオープンソース・ビッグモデルについて