Step3の推奨ハードウェア構成は、4つのA800/H800 GPUと80GBのビデオメモリで、最適なパフォーマンスを実現します。ただし、シングルGPU環境での実行もサポートしますが、推論が比較的遅くなります。
モデルウェイトはbf16とblock-fp8の両方のフォーマットで提供され、後者はビデオメモリ要件を削減し、リソースが限られたハードウェアでもモデルを実行できるようにします。開発者は、ハードウェアの状況に応じて適切なウェイト形式を選択することができます。
本番環境では、スループットと応答性を向上させるためにマルチGPU構成を推奨します。開発またはテスト目的の場合は、シングルGPU環境でも基本的な要件を満たすことができます。
この答えは記事から得たものである。Step3: マルチモーダルコンテンツのためのオープンソースマクロモデルの効率的な生成について

































