智算现场运维可运行
现场算力运维 Agent
把 GPU、IB、RDMA、NCCL、告警与拓扑排查整理成一步一条命令的现场工作流。
- 本人职责
- 工作流、安全边界与验证合同设计
- 最后核验
- 2026/07/17
MLZ / ORBIT
回到首页智算现场运维
- 已有项目
- 02
- 建设方向
- 06
- 直接记录
- 02
- 可打开证据
- 02
先确认已经做成什么。
结果、职责和证据分开呈现；没有公开链接的证据不会生成空按钮。
智算现场运维接近成品
H200 运维知识站
把新人入口、速查、故障处理、学习计划和资料索引生成适合手机阅读的静态知识站。
- 本人职责
- 内容整理与移动阅读构建
- 最后核验
- 2026/07/17
当前证据说明
阅读完整案例 10 份当前内容源构建输入按当前 Markdown 文件重新计数。
构建口径待冻结现存 17 个 HTML 与当前输入推导的产物数量不一致，因此不对外宣称 17 页版本。
按现场问题进入。
设备、链路、通信、观测、容器和调度各有独立入口，不把不同证据层混成一条答案。
GPU 健康与掉卡
资料整理从 XID、ECC、温度、功耗与降频信号建立设备健康证据顺序。
当前动作整理 nvidia-smi、内核日志和 DCGM 之间的证据顺序。
IB / RoCE / RDMA 链路
资料整理区分 InfiniBand 与 RoCE，再检查链路状态、错误计数、带宽和时延。
当前动作拆分物理链路、端口状态、错误计数和端到端测试四层证据。
NCCL 多机通信
资料整理从拓扑、链路基线到软件栈，定位 all-reduce 卡顿、超时和 hang。
当前动作定义性能偏低、通信超时和完全卡死的证据矩阵。
DCGM 监控与告警
资料整理连接指标采集、看板和告警规则，同时保留阈值复核与演练边界。
当前动作整理温度、功耗、利用率、显存、ECC 和设备状态的指标字典。
GPU 容器运行时
未开始拆开宿主机驱动、Container Toolkit、CUDA 与 GPU 设备暴露问题。
当前动作准备驱动、Toolkit、CUDA 镜像和设备映射的责任边界表。
Slurm 作业调度
未开始观察资源声明、排队、抢占和资源释放，不直接套用生产策略参数。
当前动作准备节点、分区、GRES 和作业请求之间的资源映射示例。
建设状态与下一步分开。
每阶段突出一个当前动作，其余方向保持可到达；完整验收标准留在详情页。
诊断地基
先建立设备与链路的证据顺序。
整理 nvidia-smi、内核日志和 DCGM 之间的证据顺序。
通信与观测
把基线、异常与告警连成闭环。
定义性能偏低、通信超时和完全卡死的证据矩阵。
运行环境
补齐容器与调度的验证路径。
准备驱动、Toolkit、CUDA 镜像和设备映射的责任边界表。
最近公开了什么。
文章和验证按真实日期排序，没有日期的路线动作明确标记为进行中。
H200 掉卡时，先分清三种可见
PCIe 枚举、NVML 可见和调度可用不是同一层证据。先分层，再决定下一步。
现场算力运维 Agent：验证器通过
公开资源、Schema、安全合同和黄金样例通过项目验证器。
现场 Skill 为什么一次只给一条命令
执行中状态优先于下一条指令。单步工作流不是保守，而是为了保存证据和停止边界。
GPU 健康诊断
整理 nvidia-smi、内核日志和 DCGM 之间的证据顺序。
公开边界
不公开客户、IP、设备编号、真实拓扑、原始日志、认证信息和私人运行状态。项目详情继续说明各自的脱敏范围。