低メモリ環境向けFLUX.1トレーニングソリューション
ビデオメモリが24GB未満のデバイスの場合、以下の手順でトレーニングを行うことができます:
- 定量モードの有効化設定ファイルでの設定
quantize: true
このオプションは、モデルパラメータのフットプリントを圧縮し、必要なグラフィックスメモリを約40%削減します。 - ローメモリーモードの起動設定ファイルに
low_vram: true
システムは自動的にいくつかの計算をCPUに転送する。 - バッチサイズの調整の設定ファイルを修正する。
batch_size
1-2についてはgradient_accumulation_steps
総バッチ数の管理 - レイヤー選択によるトレーニングスルー
only_if_contains
パラメータは主要なネットワーク・レイヤーのみをトレーニングする(例:トランス・ブロック7と20)
オプション
1.RunPodクラウドA40インスタンス(48GBビデオメモリ)の使用
2.必要なビデオメモリが少ない(8-16GB)Stable Diffusionベースのモデルトレーニングに切り替える。
この答えは記事から得たものである。オストリスによるAIツールキット:FLUX.1モデルトレーニングツールキットによる安定した拡散について