怎样改善训练中断导致的模型损坏问题？

2025-08-30

2.0 K

训练容错与恢复方案

针对意外中断的情况：

检查点配置::
- 在配置文件中设置save_every_n_epochs: 1
- 使い始めるresume: true自动恢复选项
安全中断流程::
- 利用するSIGTERM信号而非Ctrl+C强制终止
- 等待控制台输出checkpoint saved注意を引く
恢复训练::
- 重新执行python run.py config/my_config.yml
- 系统会自动加载output/last.ckpt

应急处理：
1. 若出现文件损坏，使用flux_utils.py正鵠を得る--repair参数修复
2. 备份training_state目录到云端