本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

模型部署的任务管理 HyperPod

本节介绍如何针对实时推理工作负载优化共享的 SageMaker HyperPod Amazon EKS 集群。您将学习配置 Kueue 的任务管理功能（包括配额管理、优先级调度和资源共享策略），以确保您的推理工作负载在流量高峰期间获得所需的 GPU 资源，同时在团队的训练、评估和测试活动中保持公平分配。有关任务管理的更多一般信息，请参阅SageMaker HyperPod 任务治理。

推理工作负载管理的工作原理

为了有效管理共享 HyperPod EKS 集群中的实时推理流量峰值，请使用 Kueue 的现有功能实施以下任务治理策略。

优先级等级配置

为权重较高的推理工作负载（例如 100）定义专用的优先级类，以确保推理 Pod 在其他任务类型之前被接受和调度。此配置使推理工作负载能够在集群加载期间抢占优先级较低的作业，这对于在流量激增期间保持低延迟要求至关重要。

配额大小和分配

在团队中预留足够的 GPU 资源ClusterQueue，以应对预期的推理峰值。在推理流量较低的时期，可以将未使用的配额资源临时分配给其他团队的任务。当推理需求增加时，可以回收这些借用的资源，以确定待处理的推理 pod 的优先级。有关更多信息，请参阅集群队列。

资源共享策略

根据您的要求，在两种配额共享方法之间进行选择：

队内抢占权

在相同配额下运行混合工作负载（评估、训练和推理）时，启用团队内部抢占功能。这允许 Kueue 抢占团队中优先级较低的作业，以适应高优先级的推理 pod，从而确保实时推理可以在不依赖外部配额借用的情况下运行。有关更多信息，请参阅抢占。

推理工作负载设置示例

以下示例显示了 Kueue 如何在共享的 Ama SageMaker HyperPod zon 集群中管理 GPU 资源。

集群配置和策略设置

您的集群具有以下配置：

共享 GPU 池使用以下优先级策略：

Kueue 强制执行队伍配额和优先等级，并启用抢占和配额借用。

初始状态：集群利用率正常

在正常操作中：

推理峰值：B 队需要额外资源 GPUs

当 B 队伍遇到流量激增时，额外的推理 pod 需要另外 5 个 P GPUs 4。Kueue 检测到新的 pod 是：

Kueue 的响应过程在两个选项之间进行选择：

选项 1：借用配额 ——如果队伍 A 只使用其 10 个 P4 中的 6 个，Kueue 可以使用闲置的 4 个 P4 接纳 B 队伍的 pod。但是，这些借用的资源是抢占式的——如果团队 A 提交任务以达到其全部配额，Kueue 就会驱逐团队 B 借用的推理舱。

选项 2：自行抢占（推荐）-团队 B 运行低优先级评估作业（优先级 50）。当高优先级推理 pod 正在等待时，Kueue 会抢占团队 B 配额内的评估任务并允许推理 Pod。这种方法提供了安全的资源分配，没有外部驱逐的风险。

Kueue 遵循三个步骤来分配资源：