Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Versionshinweise SageMaker HyperPod zu Amazon Inference

Dieses Thema behandelt Versionshinweise, in denen Updates, Korrekturen und neue Funktionen für Amazon SageMaker HyperPod Inference nachverfolgt werden. SageMaker HyperPod Inference ermöglicht Ihnen die Bereitstellung und Skalierung von Modellen für maschinelles Lernen auf Ihren HyperPod Clustern mit Zuverlässigkeit auf Unternehmensniveau. Allgemeine Versionen, Updates und Verbesserungen der SageMaker HyperPod Amazon-Plattform finden Sie unterSageMaker HyperPod Versionshinweise von Amazon.

Informationen zu den Funktionen und Bereitstellungsoptionen von SageMaker HyperPod Inference finden Sie unterModelle auf Amazon bereitstellen SageMaker HyperPod.

SageMaker HyperPod Versionshinweise zu Inference: v3.1.2

Datum der Veröffentlichung: 6. Mai 2026

Übersicht

Inference Operator v3.1.2 bietet Inferenzdatenerfassung für die Protokollierung des Endpunktverkehrs, HuggingFace Hub-Integration für die direkte Modellbereitstellung, Route 53 53-DNS-Management für benutzerdefinierte Domänen, lokale NVMe-Modellbereitstellung für reduzierte Kaltstartlatenz und benutzerdefinierte Dienstkonten mit IRSA-Unterstützung.

Neue Funktionen

Fehlerbehebungen

Führen Sie ein Upgrade auf Version 3.1.2 durch

Helm-Upgrade:

Wenn Sie den Inference Operator bereits über Helm installiert haben, verwenden Sie die folgenden Befehle für das Upgrade:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Add-on EKS-Upgrade:

Wenn Sie den Inference Operator als EKS installiert haben Add-on, führen Sie ein Upgrade auf die neueste Version durch.

Prüfen Sie zunächst, ob dies bereits in Ihrer Add-On-Konfiguration enthalten hyperpodClusterArn ist:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

Wenn in der Ausgabe vorhanden hyperpodClusterArn ist, führen Sie den folgenden Befehl aus, um das Upgrade durchzuführen:

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Falls nicht hyperpodClusterArn vorhanden, rufen Sie die aktuelle Konfiguration ab, fügen Sie sie hinzu und führen Sie ein Upgrade durch:

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Warten Sie, bis das Add-on aktiv ist, bevor Sie Modelle bereitstellen.

SageMaker HyperPod Versionshinweise zu Inference: v3.1

Datum der Veröffentlichung: 3. April 2026

Übersicht

Inference Operator v3.1 führt eine benutzerdefinierte Kubernetes-Pod-Konfiguration, benutzerdefinierte Zertifikatsunterstützung und Limits für Anfragen pro Pod ein.

Die wichtigsten Funktionen

Detaillierte Informationen, einschließlich Voraussetzungen und Upgrade-Anweisungen, finden Sie in den folgenden Abschnitten.

Voraussetzungen

Um die Funktion „Benutzerdefinierte Zertifikate“ zu verwenden, fügen Sie Ihrer Ausführungsrolle „Inference Operator“ die folgenden Berechtigungen hinzu:

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

Führen Sie ein Upgrade auf Version 3.1 durch

Wenn Sie den Inference Operator bereits über Helm installiert haben, verwenden Sie die folgenden Befehle für das Upgrade:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod Versionshinweise zu Inference: v3.0

Datum der Veröffentlichung: 23. Februar 2026

Übersicht

Inference Operator 3.0 führt die Add-on EKS-Integration für ein vereinfachtes Lebenszyklusmanagement, Node Affinity-Unterstützung für eine detaillierte Planungssteuerung und eine verbesserte Ressourcen-Tagging ein. Bestehende Helm-based Installationen können Add-on mithilfe des mitgelieferten Migrationsskripts auf das EKS migriert werden. Aktualisieren Sie Ihre Ausführungsrolle „Inference Operator“ vor dem Upgrade mit neuen Tagging-Berechtigungen.

Die wichtigsten Funktionen

Detaillierte Informationen, einschließlich Voraussetzungen, Upgrade-Anweisungen und Migrationshinweise, finden Sie in den folgenden Abschnitten.

Voraussetzungen

Vor dem Upgrade der Helm-Version auf 3.0 sollten Kunden ihrer Rolle als Inference-Operator Execution zusätzliche Tagging-Berechtigungen hinzufügen. Im Rahmen der Verbesserung von Ressourcen-Tagging und Sicherheit kennzeichnet der Inference Operator jetzt ALB-, S3- und ACM-Ressourcen. Für diese Erweiterung sind zusätzliche Berechtigungen in der Ausführungsrolle Inference Operator erforderlich. Fügen Sie Ihrer Ausführungsrolle „Inference Operator“ die folgenden Berechtigungen hinzu:

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

Führen Sie ein Upgrade auf Version 3.0 durch

Wenn Sie den Inference Operator bereits über Helm installiert haben, verwenden Sie die folgenden Befehle für das Upgrade:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Migration von Helm zu EKS Add-on

Wenn Inference Operator vor Version 3.0 über Helm installiert wurde, empfehlen wir, zu EKS zu migrieren, Add-on um rechtzeitig über die neuen Funktionen informiert zu werden, die für Inference Operator veröffentlicht werden. Dieses Skript migriert den SageMaker HyperPod Inference Operator von Helm-based der Installation zur EKS-Installation. Add-on

Überblick: Das Skript verwendet einen Clusternamen und eine Region als Parameter, ruft die bestehende Helm-Installationskonfiguration ab und migriert zur EKS-Bereitstellung. Add-on Es erstellt neue IAM-Rollen für den Inference Operator, den ALB-Controller und den KEDA-Operator.

Vor der Migration des Inferenzoperators stellt das Skript sicher, dass die erforderlichen Abhängigkeiten (S3 CSI-Treiber, FSx CSI-Treiber, cert-manager und metrics-server) existieren. Wenn sie nicht existieren, werden sie als bereitgestellt. Add-on

Nach Abschluss der Inference Add-on Operator-Migration migriert das Skript auch S3, FSx und andere Abhängigkeiten (ALB, KEDA, cert-manager, metrics-server), sofern sie ursprünglich über das Inference Operator-Helm-Diagramm installiert wurden. Verwenden Sie diese --skip-dependencies-migration Option, um diesen Schritt für den S3 CSI-Treiber, den FSx CSI-Treiber, den Cert-Manager und den Metrics-Server zu überspringen. Beachten Sie, dass ALB und KEDA als Teil von Add-on im selben Namespace wie Inference Operator installiert werden und als Teil des Inference Operators migriert werden. Add-on

Voraussetzungen für die Migration:

Abrufen des Migrationsskripts:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

Verwendung:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

Optionen:

Beispiele:

Grundlegende Migration (migriert Abhängigkeiten):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

Auto-approve ohne Eingabeaufforderungen:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

Überspringen Sie die Abhängigkeitsmigration für FSx, S3 Mountpoint, Cert Manager und Metrics Server:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

Stellen Sie bestehende S3- und FSx-IAM-Rollen bereit:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

Backup-Speicherort:

Backups werden gespeichert in /tmp/hyperpod-migration-backup-<timestamp>/

Backups ermöglichen eine sichere Migration und Wiederherstellung:

Rollback:

Wenn die Migration fehlschlägt, fordert das Skript den Benutzer zur Bestätigung auf, bevor ein Rollback initiiert wird, um den vorherigen Status wiederherzustellen.

SageMaker HyperPod Versionshinweise zu Inference: v2.3

Was ist neu

In dieser Version werden neue optionale Felder in den benutzerdefinierten Ressourcendefinitionen (CRDs) eingeführt, um die Flexibilität der Bereitstellungskonfiguration zu erhöhen.

Funktionen

Fehlerbehebungen

Änderungen am Feld invocationEndpoint in der Spezifikation von InferenceEndpointConfig werden nun wirksam:

Helm installieren:

Folgen Sie: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

Wenn Sie sich darauf konzentrieren, nur den Inferenzoperator zu installierenSet Up Your Helm Environment, tun Sie dies cd HyperPodHelmChart/charts/inference-operator nach Schritt 1. Da Sie sich im Verzeichnis der Inferenzoperatordiagramme selbst befinden, ersetzen Sie in den Befehlen, wo immer Sie sie sehenhelm_chart/HyperPodHelmChart, durch. .

Aktualisieren Sie den Operator auf Version 2.3, falls er bereits installiert ist:

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3