翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker HyperPod Inference リリースノート

このトピックでは、Amazon SageMaker HyperPod Inference の更新、修正、新機能を追跡するリリースノートについて説明します。SageMaker HyperPod Inference を使用すると、エンタープライズグレードの信頼性で HyperPod クラスターに機械学習モデルをデプロイおよびスケーリングできます。Amazon SageMaker HyperPod プラットフォームの一般的なリリース、更新、改善については、「」を参照してくださいAmazon SageMaker HyperPod リリースノート。

SageMaker HyperPod 推論機能とデプロイオプションの詳細については、「」を参照してくださいAmazon SageMaker HyperPod にモデルをデプロイする。

SageMaker HyperPod Inference リリースノート: HyperPod Inference Amazon EKS v2.0.0-eksbuild.2 および Inference Operator v3.6

リリース日: 2026 年 9 月 10 日

[概要]

HyperPod Inference Amazon EKS アドオンのv2.0.0-eksbuild.2リリースでは、HyperPod Inference Gateway が導入されました。HyperPod Inference Gateway は、Kubernetes ネイティブの LLM 対応のルーティングレイヤーであり、リクエストボディコンテンツと GPU 対応のエンドポイント選択を使用して、モデル提供ポッド間で推論トラフィックを分散します。Inference Operator と Inference Gateway の両方がこのアドオンリリースの一部として一緒に出荷されます。

これはアドオンのメジャーバージョン更新であり、 から v1.6.0-eksbuild.1に更新されていますv2.0.0-eksbuild.2。バージョンの更新には Inference Gateway の追加が反映され、リリースは既存のアドオン機能と下位互換性が維持されます。どちらのコンポーネントも不要な場合は、 inferenceGateway.enabledまたは inferenceOperator.enabledを に設定することで、アドオン設定で無効にできますfalse。

推論ゲートウェイ

推論演算子

v2.0.0-eksbuild.2 または v3.6 へのアップグレード

設定スキーマの変更:

このリリースでアドオン設定スキーマが変更されました。 inferenceGatewayが新しく追加され、HyperPod Inference Gateway が設定されます。このスキーマでは も追加されるためinferenceOperator、推論演算子を個別にオンまたはオフにすることができます。両方のコンポーネントはデフォルトで有効になっており、 inferenceGateway.enabledと は にinferenceOperator.enabled設定されていますtrue。いずれかのコンポーネントを無効にするには、 falseでそのenabledフィールドを に設定します--configuration-values。

EKS アドオンのアップグレード:

EKS アドオンとして推論演算子をインストールした場合は、次のコマンドv2.0.0-eksbuild.2を使用して にアップグレードします。

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
ACCOUNT=AWS_ACCOUNT_ID

aws eks update-addon \
  --cluster-name $CLUSTER --region $REGION \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v2.0.0-eksbuild.2 \
  --resolve-conflicts OVERWRITE \
  --configuration-values '{
    "executionRoleArn": "arn:aws:iam::<ACCOUNT>:role/<EXEC_ROLE>",
    "tlsCertificateS3Bucket": "<TLS_BUCKET>",
    "inferenceOperator": { "enabled": true },
    "inferenceGateway": {
      "enabled": true,
      "serviceAccount": { "roleArn": "arn:aws:iam::<ACCOUNT>:role/<CERT_ISSUER_ROLE>" }
    },
    "keda": { "enabled": true, "auth": { "aws": { "irsa": { "enabled": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<KEDA_IRSA_ROLE>" } } } },
    "alb": { "enabled": true, "serviceAccount": { "create": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<ALB_IRSA_ROLE>" } },
    "jumpstartGatedModelDownloadRoleArn": "arn:aws:iam::<ACCOUNT>:role/<JUMPSTART_ROLE>"
  }'

Helm のアップグレード:

Inference Gateway は、Amazon EKS アドオンを介してのみ使用できます。Helm で推論オペレーターを管理し、オペレーター専用機能を引き続き使用する場合は、次のコマンドを使用して Helm リリースをアップグレードします。Inference Operator と Inference Gateway の両方の機能を最大限に活用するには、 アドオンに移行することをお勧めします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.6

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Helm から Amazon EKS アドオンへの移行については、「」を参照してくださいHelm から EKS へのアドオン移行。

SageMaker HyperPod Inference リリースノート: HyperPod Inference Amazon EKS v1.6.0-eksbuild.1 および Inference Operator v3.5

リリース日: 2026 年 9 月 3 日

[概要]

Amazon SageMaker HyperPod Inference Operator v3.5 では、モデルの重みが事前にキャッシュされている場所を直接制御できます。演算子がデプロイから派生するインスタンスタイプのみに依存するのではなく、独自のノードアフィニティルールを重みキャッシュにアタッチできるようになりました。このリリースでは、インバウンドリクエストボリュームに 2 つの Prometheus メトリクスが追加され、いくつかのセキュリティ修正が含まれています。

Amazon SageMaker HyperPod Inference Operator v3.5 は、SageMaker HyperPod がサポートされているすべての AWS リージョンで使用できます。

新機能

v3.5 または v1.6.0-eksbuild.1 へのアップグレード

Helm のアップグレード:

Helm を使用して推論演算子を既にインストールしている場合は、次のコマンドを使用してアップグレードします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.5

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS アドオンのアップグレード:

EKS アドオンとして推論演算子をインストールした場合は、最新バージョンにアップグレードします。

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.6.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Inference リリースノート: HyperPod Inference Amazon EKS v1.5.0-eksbuild.1 および Inference Operator v3.4

リリース日: 2026 年 8 月 21 日

[概要]

Amazon SageMaker HyperPod Inference Operator v3.4 は、マネージドサイドカーコンテナのリソースリクエストと制限を CRD を介して設定できるようにします。固定デフォルトに依存するのではなく、ワークロードに合わせてリバースプロキシ、メトリクスコレクター、データキャプチャアップローダーコンテナのサイズを変更できるようになりました。

Amazon SageMaker HyperPod Inference Operator v3.4 は、SageMaker HyperPod がサポートされているすべての AWS リージョンで使用できます。

新機能

v3.4 または v1.5.0-eksbuild.1 へのアップグレード

Helm のアップグレード:

Helm を使用して推論演算子を既にインストールしている場合は、次のコマンドを使用してアップグレードします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.4

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS アドオンのアップグレード:

EKS アドオンとして推論演算子をインストールした場合は、最新バージョンにアップグレードします。

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.5.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Inference リリースノート: HyperPod Inference Amazon EKS v1.4.0-eksbuild.1 および Inference Operator v3.3

リリース日: 2026 年 8 月 4 日

[概要]

Amazon SageMaker HyperPod Inference Operator v3.3 では、ホストローカルモデルキャッシュが導入されています。これにより、推論デプロイをスケールアウトする際のコールドスタートレイテンシーが短縮されます。このリリースでは、Application Load Balancer のアイドルタイムアウトをデプロイごとに設定することもできます。

Amazon SageMaker HyperPod Inference Operator v3.3 は、SageMaker HyperPod がサポートされているすべての AWS リージョンで使用できます。

新機能

バグ修正

v3.3 または v1.4.0-eksbuild.1 へのアップグレード

Helm のアップグレード:

Helm を使用して推論演算子を既にインストールしている場合は、次のコマンドを使用してアップグレードします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.3

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS アドオンのアップグレード:

EKS アドオンとして推論演算子をインストールした場合は、最新バージョンにアップグレードします。

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.4.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Inference リリースノート: HyperPod Inference Amazon EKS v1.3.0-eksbuild.1 および Inference Operator v3.2

リリース日: 2026 年 6 月 12 日

[概要]

Inference Operator v3.2 を使用すると、お客様は、同時ロード時にトークンごとの予測可能なレイテンシーで、ロングコンテキスト LLMs (Llama 3.3 70B など) をデプロイできます。このリリースでは、Disaggregated Prefill and Decode (DPD) が導入されました。DPD は、コンピューティングバウンドプリフィルフェーズとmemory-bandwidth-boundドデコードフェーズを個別の GPU プールに分離し、GPU-Direct RDMA を使用して EFA 経由でそれらの間で KV キャッシュを転送します。DPD はトークンごとのテールレイテンシーを減らし、スループットを向上させ、事前入力容量とデコード容量を個別にスケールできます。DPD に加えて、このリリースには他のバグ修正が含まれています。

主な機能

集約解除された事前入力とデコード (DPD)

バグ修正

v3.2 または v1.3.0-eksbuild.1 へのアップグレード

Helm のアップグレード:

Helm 経由で Inference Operator が既にインストールされている場合は、次のコマンドを使用してアップグレードします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.2

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS アドオンのアップグレード:

EKS アドオンとして推論演算子をインストールした場合は、最新バージョンにアップグレードします。

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.3.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Inference リリースノート: HyperPod Inference Amazon EKS v1.2.0-eksbuild.1 および Inference Operator v3.1.2

リリース日: 2026 年 5 月 6 日

[概要]

Inference Operator v3.1.2 では、エンドポイントトラフィックのログ記録用の推論データキャプチャ、直接モデルデプロイ用の HuggingFace Hub 統合、カスタムドメイン用の Route 53 DNS 管理、コールドスタートレイテンシーを低減するためのローカル NVMe モデルデプロイ、および IRSA サポート付きのカスタムサービスアカウントが導入されています。

新機能

バグ修正

v3.1.2 または v1.2.0-eksbuild.1 へのアップグレード

Helm のアップグレード:

Helm 経由で Inference Operator が既にインストールされている場合は、次のコマンドを使用してアップグレードします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1.2
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS アドオンのアップグレード:

EKS アドオンとして推論演算子をインストールした場合は、最新バージョンにアップグレードします。

まず、 hyperpodClusterArnが既にアドオン設定にあるかどうかを確認します。

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

hyperpodClusterArn が出力に存在する場合は、次のコマンドを実行してアップグレードします。

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

hyperpodClusterArn が存在しない場合は、現在の設定を取得し、追加してアップグレードします。

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

モデルをデプロイする前に、アドオンがアクティブになるまで待ちます。

SageMaker HyperPod Inference リリースノート: Inference Operator v3.1

リリース日: 2026 年 4 月 3 日

[概要]

Inference Operator v3.1 では、カスタム Kubernetes ポッド設定、カスタム証明書のサポート、ポッドごとのリクエスト制限が導入されています。

主な機能

前提条件やアップグレード手順などの詳細については、以下のセクションを参照してください。

前提条件

カスタム証明書機能を使用するには、推論オペレーターの実行ロールに次のアクセス許可を追加します。

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

v3.1 へのアップグレード

Helm 経由で Inference Operator が既にインストールされている場合は、次のコマンドを使用してアップグレードします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod Inference リリースノート: Inference Operator v3.0

リリース日: 2026 年 2 月 23 日

[概要]

Inference Operator 3.0 では、ライフサイクル管理を簡素化するための EKS アドオン統合、詳細なスケジューリング制御のための Node Affinity サポート、リソースのタグ付けの改善が導入されています。既存の Helm ベースのインストールは、提供された移行スクリプトを使用して EKS アドオンに移行できます。アップグレードする前に、推論オペレーターの実行ロールを新しいタグ付けアクセス許可で更新します。

主な機能

前提条件、アップグレード手順、移行ガイダンスなどの詳細については、以下のセクションを参照してください。

前提条件

Helm バージョンを 3.0 にアップグレードする前に、推論演算子の実行ロールにタグ付けアクセス許可を追加する必要があります。リソースのタグ付けとセキュリティの向上の一環として、推論オペレーターは ALB、S3、および ACM リソースにタグ付けするようになりました。この機能強化には、推論演算子の実行ロールに追加のアクセス許可が必要です。推論演算子の実行ロールに次のアクセス許可を追加します。

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

v3.0 へのアップグレード

Helm 経由で Inference Operator が既にインストールされている場合は、次のコマンドを使用してアップグレードします。

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Helm から EKS へのアドオン移行

3.0 バージョンより前に Helm 経由で推論演算子がインストールされている場合は、EKS アドオンに移行して、推論演算子用にリリースされる新機能をタイムリーに更新することをお勧めします。このスクリプトは、SageMaker HyperPod Inference Operator を Helm ベースのインストールから EKS アドオンインストールに移行します。

概要: スクリプトはクラスター名とリージョンをパラメータとして受け取り、既存の Helm インストール設定を取得し、EKS アドオンデプロイに移行します。これにより、推論オペレーター、ALB コントローラー、および KEDA オペレーターの新しい IAM ロールが作成されます。

Inference Operator を移行する前に、スクリプトは必要な依存関係 (S3 CSI ドライバー、FSx CSI ドライバー、cert-manager、および metrics-server) が存在することを確認します。存在しない場合は、アドオンとしてデプロイされます。

Inference Operator アドオンの移行が完了すると、スクリプトは S3、FSx、およびその他の依存関係 (ALB、KEDA、cert-manager、metrics-server) も移行します。を使用して--skip-dependencies-migration、S3 CSI ドライバー、FSx CSI ドライバー、cert-manager、および metrics-server のこのステップをスキップします。ALB と KEDA は、推論演算子と同じ名前空間のアドオンの一部としてインストールされ、推論演算子アドオンの一部として移行されることに注意してください。

移行の前提条件:

移行スクリプトの取得:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

使用:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

オプション:

例:

基本的な移行 (依存関係を移行):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

プロンプトなしでの自動承認:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

FSx、S3 マウントポイント、証明書マネージャー、メトリクスサーバーの依存関係移行をスキップします。

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

既存の S3 および FSx IAM ロールを指定します。

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

バックアップの場所:

バックアップは に保存されます。 /tmp/hyperpod-migration-backup-<timestamp>/

バックアップにより、安全な移行と復旧が可能になります。

ロールバック:

移行が失敗した場合、スクリプトはロールバックを開始して以前の状態を復元する前に、ユーザーの確認を求めます。

SageMaker HyperPod Inference リリースノート: Inference Operator v2.3

最新情報

このリリースでは、デプロイ設定の柔軟性を高めるために、カスタムリソース定義 (CRDs) に新しいオプションフィールドが導入されました。

特徴

バグ修正

の仕様invocationEndpointの フィールドへの変更が有効InferenceEndpointConfigになりました。

Helm のインストール:

フォロー: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

推論演算子のインストールのみに重点を置いている場合は、ステップ 1、つまり の後Set Up Your Helm Environment、 を実行しますcd HyperPodHelmChart/charts/inference-operator。推論演算子チャートディレクトリ自体にあるため、 コマンドで が表示される場所であればhelm_chart/HyperPodHelmChart、 を . に置き換えます。

既にインストールされている場合は、オペレータを v2.3 にアップグレードします。

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3