低显存环境的FLUX.1训练解决方案
针对24GB以下显存设备,可通过以下步骤实现训练:
- 启用量化模式:在配置文件中设置
quantize: true
,该选项会压缩模型参数占用,降低显存需求约40% - 激活低显存模式:在配置文件中添加
low_vram: true
,系统会自动将部分计算转移到CPU - 调整批次大小:修改配置文件的
batch_size
为1-2,并通过gradient_accumulation_steps
控制总批次数 - 使用层选择训练:通过
only_if_contains
参数仅训练关键网络层(如示例中的transformer blocks 7和20)
备选方案:
1. 使用RunPod云端A40实例(48GB显存)
2. 改用Stable Diffusion基础模型训练,其对显存要求更低(8-16GB)
本答案来源于文章《AI Toolkit by Ostris:Stable Diffusion与FLUX.1模型训练工具包》