微批次调优方法论
微批次（micro-batches）配置不当会造成GPU负载不均或内存溢出，需系统的优化方法：
- 黄金比例原则：
- 微批次数 ≥ 2×流水线阶段数（如8阶段至少16微批次）
- 单微批次显存占用 ≤ 总显存的70%（为通信留buffer）
- 自动化探测工具：
- 使用DualPipe内置的AutoTuner（示例命令：python -m dualpipe.autotune）
- 配合PyTorch的memory_profiler监测峰值显存
- 异常处理方案：
- 遇到OOM错误：逐步减小微批次（每次-10%）直至稳定
- 遇到GPU闲置：增加微批次（每次+2）直到利用率饱和
- 通信瓶颈：尝试在num_micro_batches%num_ranks==0时效果最佳
典型配置参考：
A100-80GB显卡：8-12微批次/GPU
H100节点：可尝试16-20微批次
注意：实际值需根据模型结构和数据特性调整
本答案来源于文章《DualPipe：双向流水线并行算法，提升大规模AI模型训练效率（DeepSeek 开源周第四天）》
未经允许不得转载：AI生产力工具 » 如何避免错误的微批次设置导致DualPipe性能下降？
简体中文 
English 
日本語 
Deutsch 
Português do Brasil