Background to the issue
千卡级MoE集群常出现网络热点和PFC风暴等问题,DeepEP提供多层次拥塞控制方案。
prescription
- 虚拟通道隔离:通过`NVSHMEM_IB_SL`分配独立的服务等级
- 流量整形:启用DeepEP内置的rate limiter(需HDR InfiniBand)
- 拓扑感知路由:配置`NVSHMEM_TOPO_FILE`指定最优转发路径
Operation Guide
- 生成集群拓扑描述文件
- 在启动脚本中添加:`export NVSHMEM_IB_SL=1,3,5`(奇数通道较少冲突)
- 针对fat-tree网络,设置`NVSHMEM_TREE_WIDTH=36`等参数
Validation Methods
使用`ibdiagnet`检查网络健康状态;通过`perfquery`监控IB端口计数器;建议部署后运行24小时压力测试(`tests/stress_test.py`)。
This answer comes from the articleDeepEP: An Open Source Tool to Optimize Communication Efficiency Specifically for MoE Models (DeepSeek Open Source Week Day 2)The