本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EKS 上用于增强集群操作的持续预调配功能

使用 Amazon EKS 编排创建的 Amazon SageMaker HyperPod 集群现在支持持续配置，这是一项新功能，可提高运行大规模 AI/ML 工作负载的灵活性和效率。持续预调配功能可让您快速启动训练、无缝扩展、在不中断操作的情况下执行维护，并对集群操作拥有精细可见性。

工作原理

持续预调配系统引入了一种期望状态架构，取代了传统的基于请求的模型。这种新架构支持在不同资源级别实现并行、非阻塞操作，同时保持系统稳定性与性能。持续预调配系统：

默认情况下，持续预调配功能处于禁用状态。要使用此功能，必须将 --node-provisioning-mode 设置为 Continuous。

启用持续预调配功能后，您可以同时启动多个扩展操作，无需等待之前的操作完成。这使您能够同时扩展同一个集群中不同的实例组，并向同一个实例组提交多个扩展请求。

持续配置还允许您访问DescribeClusterEvent和ListClusterEvent查看详细的事件监控和操作可见性。

使用计量

HyperPod 具有持续预配功能的集群使用实例级计量来提供反映实际资源使用情况的准确账单。这种计量方法不同于传统的集群级别计费，它会对每个实例进行独立跟踪。

实例级别计费

利用持续预调配功能，计费将在单个实例级别开始和停止，而不是等待集群级别的状态变化。此方法具有以下优势：

计费生命周期

HyperPod 集群中的每个实例都遵循以下账单生命周期：

创建一个已启用持续预调配的集群

以下AWS CLI操作创建了一个具有一个实例组并启用了持续配置的 HyperPod 集群。

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

创建集群后，您可以使用ListClusterNodes或DescribeClusterNode来查找有关集群中节点的更多信息。

调用这些操作将返回一个具有以下值之一的ClusterInstanceStatusDetails对象：

最低容量要求 (MinCount)

该 MinCount 功能允许您指定在实例组转换为InService状态之前必须成功配置的最小实例数量。此功能可以更好地控制扩展操作，并有助于防止出现部分预配置的实例组无法有效用于训练工作负载的情况。

如何 MinCount 运作

当您创建或更新 MinCount 启用状态的实例组时，会发生以下行为：

MinCount 操作期间的实例组状态

MinCount 已配置的实例组表现出以下状态行为：

在Creating或Updating状态期间，以下限制适用：

自动回滚行为

如果某个实例组无法 MinCount 在 3 小时内到达其状态，则系统会自动启动回滚以防止无限期等待：

每次更新时，3 小时的超时 MinCount 都会重置。例如，如果您 MinCount 多次更新，则超时时间将从最近的更新重新开始。

MinCount 事件

系统会发出特定事件来帮助您跟踪 MinCount 操作：

您可以使用监控这些事件ListClusterEvents来跟踪 MinCount 操作进度。

API 使用

MinCount 使用实例组配置中的MinInstanceCount参数指定：

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

MinCount 使用时的关键注意事项：