本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

问题排查 AWS PCS 集群版本更新

本主题可帮助您识别和解决在更新集群上的调度程序版本时可能出现的常见问题。

更新后计算节点无法连接

常见原因

更新集群后，新启动的计算节点无法向控制器注册。节点启动但从未出现在sinfo输出中，并且计算节点组可能会在实例之间反复循环。当计算节点组的 AMI 包含的调度程序版本超出新控制器版本的兼容窗口时，就会发生这种情况。

例如，如果您将集群从 24.11 更新到 25.11，但计算节点组仍使用带有 Slurm 23.11 的 AMI，则新实例将无法连接，因为 23.11 在 25.11 的兼容窗口之外。

如何诊断

您可以通过在两个地方查看日志来确认此问题：

日程安排日志

如果您启用了调度程序日志记录，请在 “日志” 中查看调度程序 CloudWatch 日志中是否存在类似以下内容的错误：

error: unpack_header: protocol_version 10240 not supported
error: slurm_unpack_received_msg: [ip-10-0-1-23] Incompatible versions of client and server code

这些错误表明具有不兼容调度器版本的计算节点正在尝试连接到控制器。有关设置调度程序日志记录的信息，请参见计划程序在 PCS 中 AWS 登录。

计算节点实例日志

检索实例控制台输出或通过 Systems Manager 进行连接，并检查引导日志中是否存在类似于以下内容的错误：

error: _fetch_child: failed to fetch remote configs: Incompatible versions of client and server
error: _establish_configuration: failed to load configs
error: slurmd initialization failed

有关检索实例日志的更多信息，请参阅检索实例日志。

解决方案

更新计算节点组以使用包含新集群版本兼容窗口内的调度程序版本的 AMI：

aws pcs update-compute-node-group \
--cluster-identifier my-cluster \
--compute-node-group-identifier my-cng \
--ami-id ami-0123456789abcdef0

要确定哪些调度程序版本与您的集群兼容，请参阅版本兼容性。

有关使用正确的计划程序版本构建自定义 AMI 的信息，请参阅。的亚马逊机器映像 (AMI) AWS 个

更新请求被拒绝 ValidationException

常见原因

该UpdateCluster请求会立即返回，并显示ValidationException错误消息，表示不支持更新。在以下情况下会发生这种情况：

解决方案

如果目标版本不在兼容性窗口内，请分多个步骤执行更新。每个步骤都必须针对兼容性窗口中支持的版本。例如，要从 23.11 升级到 25.11，首先更新到 25.05，请等待集群返回ACTIVE，然后更新到 25.11。

如果目标版本为 EOL，请改为选择更新的支持版本。有关支持的版本的信息，请参阅在 Slurm 版本中 AWS 个。

集群仍处于更新状态

常见原因

集群保持UPDATING状态的时间比预期的长（超过 20 分钟）。这可能是由于更新过程中出现的暂时性内部问题所致。

解决方案

AWS PCS 会自动恢复处于UPDATING状态的集群。如果集群在 30 分钟UPDATE_FAILED内未返回ACTIVE或未恢复，请联系 Supp AWS ort 寻求帮助。

更新后，集群进入 UPDATE_FAILED 状态

常见原因

更新期间，集群会转换到UPDATE_FAILED状态。当临时服务错误使更新无法成功完成时，就会发生这种情况。

解决方案

再次提交相同的UpdateCluster请求，重试更新。处于UPDATE_FAILED状态的集群接受新的更新请求。如果更新仍然失败，请联系 Supp AWS ort。

由于配置解析错误，计算节点无法启动

常见原因

更新集群后，计算节点无法启动，也不会出现在sinfo输出中。计算节点实例日志显示的错误与以下内容类似：

error: _parse_next_key: Parsing error at unrecognized key: HashPlugin
error: Invalid DebugFlag: AuditRPCs
fatal: Unable to process configuration file

当运行调度器版本 23.11 的计算节点收到来自较新集群版本的配置时，就会发生这种情况。23.11 之后的调度器版本引入了 23.11 无法解析的新配置指令。与兼容性窗口中的其他版本不同，23.11 计算节点无法连接到较新的集群，因为它们在无法识别的配置密钥上出现致命错误。

如果您的自定义 AMI 使用低于 v1.4.0 的 AWS PCS 代理版本，也会出现此问题。较旧的代理版本不支持计算节点守护程序的自动版本回退。

解决方案

按照以下要求重新构建您的自定义 AMI：

然后更新计算节点组以使用新的 AMI：

aws pcs update-compute-node-group \
--cluster-identifier my-cluster \
--compute-node-group-identifier my-cng \
--ami-id ami-0123456789abcdef0

有关构建自定义 AMI 的信息，请参阅的亚马逊机器映像 (AMI) AWS 个。有关 AWS PCS 代理版本的信息，请参见AWS PCS 代理版本。

由于 QoS 配置无效，群集在更新后不可用

常见原因

更新到版本 25.11 后，集群进入UPDATE_FAILED状态或调度程序变为不可用。您无法提交作业或运行调度器命令。调度程序日志显示的错误类似于以下内容：

error: Invalid Allow/DenyQOS value: low
fatal: Partition my-queue has an invalid DenyQOS (low), please check your configuration

当队列（分区）通过AllowQOS、DenyQOS或 Slurm 记账数据库中不存在的QOS设置引用 QoS 名称时，就会发生这种情况。Slurm 25.11 在调度器启动时引入了对 QoS 参考的更严格的验证。早期版本允许引用不存在的 QoS 名称而不会出现错误。

解决方案

在更新到版本 25.11 之前，请确认队列配置中引用的所有 QoS 名称都存在于会计数据库中。连接到登录节点并运行以下命令以检查 QoS 是否存在：

sacctmgr show qos where name=low format=name

如果 QoS 不存在，请在尝试更新之前创建它：

sacctmgr add qos low

或者，在更新集群之前，通过更新队列的 Slurm 自定义设置来删除AllowQOSDenyQOS、或QOS参数，从队列配置中删除 QoS 引用。