GPT-OSSはOpenAIのオープンソース言語モデルファミリーで、gpt-oss-120bとgpt-oss-20bがあり、それぞれ1170億と2100億のパラメータを持ちます。このファミリーはApache 2.0ライセンスの下でライセンスされており、開発者は無料でダウンロード、変更、デプロイすることができます。
主な特徴は以下の通り:
- 効率的な推論:MXFP4量子化を使用し、gpt-oss-120bはNvidia H100GPU1枚で動作、gpt-oss-20bは16GB RAMデバイスに適応。
- 連鎖推論:低、中、高の推論強度をサポートし、タスク要件に応じて調整可能
- ツール呼び出し:統合ウェブ検索、Pythonコード実行、ファイル操作など。
- 構造化された出力:デバッグと使用を容易にするために、独自のハーモニー応答フォーマットを使用します。
- 長いコンテキストのサポート:128kのコンテキストの長さがネイティブでサポートされている。
この答えは記事から得たものである。GPT-OSS:OpenAIの効率的推論のためのオープンソース・ビッグモデルについて