View a markdown version of this page

使用 Slurm 重启计算节点 AWS PCS - AWS 个

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Slurm 重启计算节点 AWS PCS

AWS PCS 支持 Slurm 的原scontrol reboot生命令。使用此命令可在不更换 EC2 实例的情况下重启计算节点。其他重启方法(Amazon EC2 控制台 AWS CLI、自动补丁或系统维护)会导致 AWS PCS 认为 EC2 实例运行状况不佳并进行更换。

重启 Slurm 的好处

Slurm 重启为集群维护提供了多种优势:

  • 保留容量 — 避免将容量受限的 EC2 实例丢失给其他客户。

  • 降低成本 — 消除不必要的实例更换周期和对空闲节点的持续计费。

  • 更快的恢复 — 与实例更换相比,没有配置延迟。

  • 操作灵活性 — 清除内存泄漏,删除临时文件,并将节点从降级状态中恢复。

何时使用 Slurm 重启

对于常见的操作维护场景,使用 Slurm 重启:

  • 故障排除 — 解决性能问题或无响应的进程,尤其是 GPU 节点。

  • 资源清理 -清除影响作业性能的内存泄漏/tmp、临时文件或卡住的进程。

  • 恢复 — 在需要更换完整节点之前,将节点从挂起或降级状态中恢复。

限制

  • 只有 Slurm 管理员用户(根用户)才能执行重启命令。

  • 重启支持scontrol reboot仅限于。

  • RebootProgram 不支持配置。

  • 没有控制台界面——仅限命令行。