Histórico da questão
千卡级MoE集群常出现网络热点和PFC风暴等问题,DeepEP提供多层次拥塞控制方案。
prescrição
- 虚拟通道隔离:通过`NVSHMEM_IB_SL`分配独立的服务等级
- 流量整形:启用DeepEP内置的rate limiter(需HDR InfiniBand)
- 拓扑感知路由:配置`NVSHMEM_TOPO_FILE`指定最优转发路径
Guia de operação
- 生成集群拓扑描述文件
- 在启动脚本中添加:`export NVSHMEM_IB_SL=1,3,5`(奇数通道较少冲突)
- 针对fat-tree网络,设置`NVSHMEM_TREE_WIDTH=36`等参数
Métodos de validação
使用`ibdiagnet`检查网络健康状态;通过`perfquery`监控IB端口计数器;建议部署后运行24小时压力测试(`tests/stress_test.py`)。
Essa resposta foi extraída do artigoDeepEP: Uma ferramenta de código aberto para otimizar a eficiência da comunicação especificamente para modelos MoE (DeepSeek Open Source Week Day 2)O