训练容错与恢复方案
针对意外中断的情况：
- 检查点配置::
- 在配置文件中设置
save_every_n_epochs: 1 - start using
resume: true自动恢复选项
- 在配置文件中设置
- 安全中断流程::
- utilization
SIGTERM信号而非Ctrl+C强制终止 - 等待控制台输出
checkpoint saveddraw attention to sth.
- utilization
- 恢复训练::
- 重新执行
python run.py config/my_config.yml - 系统会自动加载
output/last.ckpt
- 重新执行
应急处理：
1. 若出现文件损坏，使用flux_utils.pyhit the nail on the head--repair参数修复
2. 备份training_state目录到云端
This answer comes from the articleAI Toolkit by Ostris: Stable Diffusion with FLUX.1 Model Training ToolkitThe
May not be reproduced without permission:AI productivity tools " 怎样改善训练中断导致的模型损坏问题？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil