gpt-oss-120bは117Bのパラメータを持つ大型モデルであるため、効果的に実行するにはNVIDIA H100のような80GBのビデオメモリを持つ高性能GPUが必要です。ハードウェアの利用を高めるため、ウェアハウスは特別なMXFP4量子化サポートとTritonカーネルインストールガイドを提供し、計算効率を30%以上向上させることができます。一方、21Bパラメータのgpt-oss-20bは、16GBのRAMのみを搭載したコンシューマーグレードのハードウェアで動作可能で、個人開発者やエッジコンピューティングのシナリオに適しています。両モデルとも、リポジトリに対応するデバイス・マッピング自動設定機能があります。
この答えは記事から得たものである。OpenAI GPT OSSモデルを微調整するためのスクリプトとチュートリアル集について