微批次调优方法论
微批次（micro-batches）配置不当会造成GPU负载不均或内存溢出，需系统的优化方法：
- 黄金比例原则：
- 微批次数 ≥ 2×流水线阶段数（如8阶段至少16微批次）
- 单微批次显存占用 ≤ 总显存的70%（为通信留buffer）
- 自动化探测工具：
- 使用DualPipe内置的AutoTuner（示例命令：python -m dualpipe.autotune）
- 配合PyTorch的memory_profiler监测峰值显存
- Exception handling program:
- 遇到OOM错误：逐步减小微批次（每次-10%）直至稳定
- 遇到GPU闲置：增加微批次（每次+2）直到利用率饱和
- 通信瓶颈：尝试在num_micro_batches%num_ranks==0时效果最佳
典型配置参考：
A100-80GB显卡：8-12微批次/GPU
H100节点：可尝试16-20微批次
Attention:实际值需根据模型结构和数据特性调整
This answer comes from the articleDualPipe: a bi-directional pipelined parallel algorithm to improve the efficiency of large-scale AI model training (DeepSeek Open Source Week Day 4)The
May not be reproduced without permission:AI productivity tools " 如何避免错误的微批次设置导致DualPipe性能下降？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil