NCCL 多机通信排障
针对多机 all-reduce 卡顿、超时和 hang，建立从拓扑到链路再到软件栈的诊断流程。
最近动作定义性能偏低、通信超时和完全卡死的证据矩阵。
Goal
公开目标
形成可重复的 NCCL 基线测试和三类通信异常诊断入口。
Why
为什么要做
all-reduce 变慢、超时和完全卡死看起来相似，却可能分别落在拓扑、链路、网卡选择或软件版本。需要先把入口和证据矩阵分开。
Milestones
建设里程碑
- 01基线测试
记录硬件、拓扑、规模、消息尺寸和带宽结果。
- 02日志速查
整理初始化、网卡选择、传输层和超时关键字。
- 03故障案例
使用虚构节点走通一个可重复的多机排障案例。
Acceptance
验收标准
- 单机与跨机证据层分开记录。
- 测试结果不脱离硬件、拓扑和规模给出统一通过值。
- 案例覆盖复现条件、停止边界和恢复验证。