本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

模型部署的任务管理 HyperPod

本节介绍如何针对实时推理工作负载优化共享的 SageMaker HyperPod Amazon EKS 集群。您将了解如何配置 Kueue 的任务治理功能（包括配额管理、优先级调度和资源共享策略），以确保推理工作负载在流量高峰期间获得所需的 GPU 资源，同时在团队的训练、评估和测试活动中保持公平分配。有关任务治理的更多一般信息，请参阅 SageMaker HyperPod 任务治理。

推理工作负载管理的工作方式

为了有效管理共享 HyperPod EKS 集群中的实时推理流量峰值，请使用 Kueue 的现有功能实施以下任务治理策略。

优先级类配置

为推理工作负载定义权重较高（例如 100）的专用优先级类，确保推理容器组（pod）在其他任务类型之前被调度和接纳。此配置使推理工作负载能够在集群加载期间抢占优先级较低的作业，这对于在流量激增期间满足低延迟要求至关重要。

配额大小调整和分配

在团队的 ClusterQueue 中预留足够的 GPU 资源，以应对预期的推理峰值。在推理流量较低的时段内，可以将未使用的配额资源临时分配给其他团队的任务。当推理需求增加时，可以回收这些借入的资源，以确定待处理的推理容器组（pod）的优先级。有关更多信息，请参阅集群队列。

资源共享策略

根据您的要求，在以下两种配额共享方法中进行选择：

团队内抢占

在同一配额下运行混合工作负载（评估、训练和推理）时，启用团队内抢占功能。这使得 Kueue 能够在团队内部抢占低优先级作业，以容纳高优先级的推理容器组（pod），从而确保实时推理可独立运行，而无需依赖外部配额借入。有关更多信息，请参阅抢占。

推理工作负载设置示例

以下示例显示了 Kueue 如何在共享的 Ama SageMaker HyperPod zon 集群中管理 GPU 资源。

集群配置和策略设置

您的集群具有以下配置：

共享 GPU 池使用以下优先级策略：

Kueue 会实施团队配额与优先级类，同时启用抢占与配额借入功能。

初始状态：集群利用率正常

正常运行期间：

推理峰值：B 队需要额外资源 GPUs

当 B 队伍遇到流量激增时，额外的推理 pod 需要另外 5 个 P GPUs 4。Kueue 检测到新的容器组（pod）：

Kueue 的响应过程会在两个选项之间进行选择：

选项 1：配额借入 – 如果团队 A 只使用其 10 个 P4 中的 6 个，则 Kueue 可以使用闲置的 4 个 P4 来接纳团队 B 的容器组（pod）。然而，这些借入的资源具有可抢占性 – 如果团队 A 提交作业以使用其全部配额，则 Kueue 会驱逐团队 B 借入的推理容器组（pod）。

选项 2：自抢占（推荐）– 团队 B 运行低优先级评估作业（优先级 50）。当高优先级推理容器组（pod）处于等待状态时，Kueue 会在团队 B 的配额内抢占评估作业的资源，并接纳这些推理容器组（pod）。此方法可实现安全的资源分配，且不存在外部驱逐风险。

Kueue 遵循三步流程来分配资源：