マルチハードウェアプラットフォーム適応ソリューション
Nunchakuのコンパイラレベルの最適化により、TuringからBlackwellまでのNVIDIA GPUアーキテクチャの全範囲を確実にサポートします。異なるコンピューティング・デバイス向けに、3つの適応オプションが用意されています:
- デスクトップGPUは自動的にTensor Coreアクセラレーションを有効にする
- ノートPC向けGPUがメモリ最適化戦略を採用
- プロフェッショナル・コンピュート・カード(A100など)はFP16混合精度をサポートしている。
PTX命令レベルの最適化とアーキテクチャの特徴検出により、技術チームは、RTX 2080からRTX 4090まで、異なる世代のハードウェア上で同じコードベースが安定したパフォーマンスを維持することを可能にし、Windowsプラットフォーム用のコンパイル済みホイールパッケージにより、CUDAバージョンの互換性の問題を解決しました。測定データによると、Ampereアーキテクチャのデバイスのワットあたりの消費電力は、従来のソリューションの最大3.2倍となっている。
この答えは記事から得たものである。ヌンチャク:FLUX.1とSANAの4ビット量子化モデルを効率的に実行する推論ツールについて































