Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Note sulla versione di Amazon SageMaker HyperPod Inference

Questo argomento riguarda le note di rilascio che tengono traccia degli aggiornamenti, delle correzioni e delle nuove funzionalità per Amazon SageMaker HyperPod Inference. SageMaker HyperPod Inference ti consente di distribuire e scalare modelli di machine learning sui tuoi HyperPod cluster con un'affidabilità di livello aziendale. Per le versioni, gli aggiornamenti e i miglioramenti generali SageMaker HyperPod della piattaforma Amazon, consulta. Note di SageMaker HyperPod rilascio di Amazon

Per informazioni sulle funzionalità di SageMaker HyperPod inferenza e sulle opzioni di distribuzione, consulta. Distribuzione di modelli su Amazon SageMaker HyperPod

SageMaker HyperPod Note sulla versione di Inference: Inference Amazon EKS v2.0.0-eksbuild.2 e HyperPod Inference Operator v3.6

Data di uscita: 10 settembre 2026

Riepilogo

Il v2.0.0-eksbuild.2 rilascio del componente aggiuntivo HyperPod Inference Amazon EKS introduce HyperPod Inference Gateway Kubernetes-native, un livello di LLM-aware routing che distribuisce il traffico di inferenza tra pod che servono modelli utilizzando il contenuto del corpo della richiesta e la selezione degli endpoint. GPU-aware Sia l'Inference Operator che l'Inference Gateway vengono forniti insieme come parte di questa versione aggiuntiva.

Si tratta di un importante aggiornamento della versione del componente aggiuntivo, dal al. v1.6.0-eksbuild.1 v2.0.0-eksbuild.2 L'aggiornamento della versione riflette l'aggiunta di Inference Gateway e la versione rimane retrocompatibile con le funzionalità aggiuntive esistenti. Se non hai bisogno di nessuno dei componenti, puoi disabilitarlo nella configurazione del componente aggiuntivo impostando o su. inferenceGateway.enabled inferenceOperator.enabled false

Inference Gateway

Operatore di inferenza

Aggiornamento a v2.0.0-eksbuild.2 o v3.6

Modifiche allo schema di configurazione:

Lo schema di configurazione del componente aggiuntivo è stato modificato in questa versione. inferenceGatewayè stato aggiunto di recente e configura HyperPod Inference Gateway. Lo schema aggiunge inoltreinferenceOperator, il che offre la flessibilità di attivare o disattivare l'operatore di inferenza in modo indipendente. Entrambi i componenti sono abilitati per impostazione predefinita, con inferenceGateway.enabled e inferenceOperator.enabled impostati sutrue. Per disabilitare uno dei componenti, imposta il relativo enabled campo su false in--configuration-values.

Add-on Aggiornamento EKS:

Se hai installato l'Inference Operator come EKS Add-on, esegui l'aggiornamento v2.0.0-eksbuild.2 con il seguente comando:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
ACCOUNT=AWS_ACCOUNT_ID

aws eks update-addon \
  --cluster-name $CLUSTER --region $REGION \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v2.0.0-eksbuild.2 \
  --resolve-conflicts OVERWRITE \
  --configuration-values '{
    "executionRoleArn": "arn:aws:iam::<ACCOUNT>:role/<EXEC_ROLE>",
    "tlsCertificateS3Bucket": "<TLS_BUCKET>",
    "inferenceOperator": { "enabled": true },
    "inferenceGateway": {
      "enabled": true,
      "serviceAccount": { "roleArn": "arn:aws:iam::<ACCOUNT>:role/<CERT_ISSUER_ROLE>" }
    },
    "keda": { "enabled": true, "auth": { "aws": { "irsa": { "enabled": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<KEDA_IRSA_ROLE>" } } } },
    "alb": { "enabled": true, "serviceAccount": { "create": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<ALB_IRSA_ROLE>" } },
    "jumpstartGatedModelDownloadRoleArn": "arn:aws:iam::<ACCOUNT>:role/<JUMPSTART_ROLE>"
  }'

Aggiornamento del timone:

Inference Gateway è disponibile solo tramite il componente aggiuntivo Amazon EKS. Se gestisci l'Inference Operator con Helm e desideri continuare a utilizzare funzionalità riservate agli operatori, aggiorna la versione di Helm con i seguenti comandi. Ti consigliamo di passare all'add-on per ottenere tutte le funzionalità sia di Inference Operator che di Inference Gateway.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.6

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Per la migrazione da Helm al componente aggiuntivo Amazon EKS, consulta. Migrazione da Helm a EKS Add-on

SageMaker HyperPod Note sulla versione di Inference: Inference Amazon EKS v1.6.0-eksbuild.1 e HyperPod Inference Operator v3.5

Data di uscita: 3 settembre 2026

Riepilogo

Amazon SageMaker HyperPod Inference Operator v3.5 ti offre il controllo diretto su dove i pesi dei modelli sono prememorizzati nella cache. Ora puoi allegare le tue regole di affinità tra i nodi alla cache dei pesi invece di affidarti esclusivamente al tipo di istanza che l'operatore ricava dalla tua distribuzione. Questa versione aggiunge anche due metriche Prometheus per il volume delle richieste in entrata e include alcune correzioni di sicurezza.

Amazon SageMaker HyperPod Inference Operator v3.5 è disponibile in tutte le regioni in cui è supportato. AWS SageMaker HyperPod

Nuove funzionalità

Aggiornamento a v3.5 o v1.6.0-eksbuild.1

Aggiornamento del timone:

Se hai già installato Inference Operator usando Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.5

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Aggiornamento EKS Add-on :

Se hai installato Inference Operator come EKS Add-on, esegui l'aggiornamento alla versione più recente:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.6.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Note sulla versione di Inference: Inference Amazon EKS v1.5.0-eksbuild.1 e HyperPod Inference Operator v3.4

Data di uscita: 21 agosto 2026

Riepilogo

Amazon SageMaker HyperPod Inference Operator v3.4 rende le richieste di risorse e i limiti dei container sidecar gestiti configurabili tramite il CRD. Ora puoi dimensionare il proxy inverso, il collettore di metriche e i contenitori di caricamento per l'acquisizione dei dati in base al tuo carico di lavoro invece di affidarti a valori predefiniti fissi.

Amazon SageMaker HyperPod Inference Operator v3.4 è disponibile in tutte le regioni in cui è supportato. AWS SageMaker HyperPod

Nuove funzionalità

Aggiornamento a v3.4 o v1.5.0-eksbuild.1

Aggiornamento del timone:

Se hai già installato Inference Operator usando Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.4

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Aggiornamento EKS Add-on :

Se hai installato Inference Operator come EKS Add-on, esegui l'aggiornamento alla versione più recente:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.5.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Note sulla versione di Inference: HyperPod Inference Amazon EKS v1.4.0-eksbuild.1 e Inference Operator v3.3

Data di uscita: 4 agosto 2026

Riepilogo

Amazon SageMaker HyperPod Inference Operator v3.3 introduce il caching del modello locale sull'host. Ciò riduce la latenza di avvio a freddo quando si ridimensiona una distribuzione di inferenza. Questa versione rende inoltre il timeout di inattività dell'Application Load Balancer configurabile per ogni distribuzione.

Amazon SageMaker HyperPod Inference Operator v3.3 è disponibile in tutte le regioni in cui è supportato. AWS SageMaker HyperPod

Nuove funzionalità

Correzioni di bug

Aggiornamento a v3.3 o v1.4.0-eksbuild.1

Aggiornamento del timone:

Se hai già installato Inference Operator usando Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.3

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Aggiornamento EKS Add-on :

Se hai installato Inference Operator come EKS Add-on, esegui l'aggiornamento alla versione più recente:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.4.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Note sulla versione di Inference: HyperPod Inference Amazon EKS v1.3.0-eksbuild.1 e Inference Operator v3.2

Data di uscita: 12 giugno 2026

Riepilogo

Inference Operator v3.2 consente ai clienti di implementare LLM a lungo contesto (come Llama 3.3 70B) con una latenza prevedibile per token in caso di carico simultaneo. La versione introduce Disaggregated Prefill and Decode (DPD), che separa la fase di precompilazione associata al calcolo e la fase di decodifica legata alla larghezza di banda di memoria in pool di GPU distinti e trasferisce la cache KV tra di loro tramite EFA con RDMA. GPU-Direct DPD riduce la latenza tail per token, aumenta il throughput e consente di scalare la capacità di precompilazione e decodifica in modo indipendente. Oltre a DPD, in questa versione sono incluse altre correzioni di bug.

Caratteristiche principali

Precompilazione e decodifica disaggregati (DPD)

Correzioni di bug

Aggiornamento a v3.2 o v1.3.0-eksbuild.1

Aggiornamento del timone:

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.2

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Aggiornamento EKS Add-on :

Se hai installato Inference Operator come EKS Add-on, esegui l'aggiornamento alla versione più recente:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.3.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod Note sulla versione di Inference: Inference Amazon EKS v1.2.0-eksbuild.1 e HyperPod Inference Operator v3.1.2

Data di uscita: 6 maggio 2026

Riepilogo

Inference Operator v3.1.2 introduce l'acquisizione dei dati di inferenza per la registrazione del traffico degli endpoint, l'integrazione HuggingFace Hub per l'implementazione diretta del modello, la gestione DNS Route 53 per domini personalizzati, l'implementazione del modello NVMe locale per ridurre la latenza di avvio a freddo e account di servizio personalizzati con supporto IRSA.

Nuove funzionalità

Correzioni di bug

Aggiornamento a v3.1.2 o v1.2.0-eksbuild.1

Aggiornamento del timone:

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1.2
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Aggiornamento EKS Add-on :

Se hai installato Inference Operator come EKS Add-on, esegui l'aggiornamento alla versione più recente.

Innanzitutto, controlla se hyperpodClusterArn è già presente nella configurazione del componente aggiuntivo:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

Se hyperpodClusterArn è presente nell'output, esegui il seguente comando per eseguire l'aggiornamento:

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Se non hyperpodClusterArn è presente, recupera la configurazione corrente, aggiungila e aggiorna:

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

Attendi che il componente aggiuntivo diventi attivo prima di distribuire i modelli.

SageMaker HyperPod Note sulla versione di Inference: Inference Operator v3.1

Data di uscita: 3 aprile 2026

Riepilogo

Inference Operator v3.1 introduce la configurazione personalizzata dei pod Kubernetes, il supporto personalizzato per i certificati e i limiti di richiesta per pod.

Caratteristiche principali

Per informazioni dettagliate, inclusi i prerequisiti e le istruzioni di aggiornamento, consulta le sezioni seguenti.

Prerequisiti

Per utilizzare la funzionalità Certificati personalizzati, aggiungete le seguenti autorizzazioni al ruolo di esecuzione di Inference Operator:

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

Aggiornamento alla v3.1

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod Note sulla versione di Inference: Inference Operator v3.0

Data di uscita: 23 febbraio 2026

Riepilogo

Inference Operator 3.0 introduce l' Add-on integrazione EKS per una gestione semplificata del ciclo di vita, il supporto di Node Affinity per il controllo granulare della pianificazione e una migliore etichettatura delle risorse. Helm-based Le installazioni esistenti possono essere migrate a EKS utilizzando lo script di migrazione fornito. Add-on Aggiorna il tuo ruolo di esecuzione di Inference Operator con nuove autorizzazioni di tagging prima dell'aggiornamento.

Caratteristiche principali

Per informazioni dettagliate, tra cui prerequisiti, istruzioni per l'aggiornamento e linee guida sulla migrazione, consulta le sezioni seguenti.

Prerequisiti

Prima di aggiornare la versione Helm alla 3.0, i clienti devono aggiungere ulteriori autorizzazioni di tagging al proprio ruolo di esecuzione dell'operatore Inference. Come parte del miglioramento della codifica e della sicurezza delle risorse, l'Inference Operator ora assegna tag alle risorse ALB, S3 e ACM. Questo miglioramento richiede autorizzazioni aggiuntive nel ruolo di esecuzione di Inference Operator. Aggiungi le seguenti autorizzazioni al tuo ruolo di esecuzione di Inference Operator:

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

Esegui l'aggiornamento alla v3.0

Se hai già installato Inference Operator tramite Helm, usa i seguenti comandi per l'aggiornamento:

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Migrazione da Helm a EKS Add-on

Se Inference operator è installato tramite Helm prima della versione 3.0, consigliamo di migrare a EKS per Add-on ottenere aggiornamenti tempestivi sulle nuove funzionalità che verranno rilasciate per Inference Operator. Questo script migra l' SageMaker HyperPod Inference Operator dall'installazione all'installazione di EKS. Helm-based Add-on

Panoramica: lo script accetta il nome e la regione del cluster come parametri, recupera la configurazione di installazione di Helm esistente e migra alla distribuzione EKS. Add-on Crea nuovi ruoli IAM per Inference Operator, ALB Controller e KEDA Operator.

Prima di migrare l'Inference Operator, lo script garantisce l'esistenza delle dipendenze richieste (driver S3 CSI, driver FSx CSI, cert-manager e metrics-server). Se non esistono, li distribuisce come. Add-on

Una volta completata la Add-on migrazione di Inference Operator, lo script migra anche S3, FSx e altre dipendenze (ALB, KEDA, cert-manager, metrics-server) se sono state originariamente installate tramite il grafico Inference Operator Helm. Usalta questo passaggio per il driver S3 CSI, il driver --skip-dependencies-migration FSx CSI, il cert-manager e il metrics-server. Nota che ALB e KEDA sono installati come parte dello stesso namespace di Inference Operator e Add-on verranno migrati come parte di Inference Operator. Add-on

Prerequisiti per la migrazione:

Ottenere lo script di migrazione:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

Utilizzo:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

Opzioni:

Esempi:

Migrazione di base (migra le dipendenze):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

Auto-approve senza istruzioni:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

Salta la migrazione delle dipendenze per FSx, S3 mountpoint, cert manager e Metrics server:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

Fornisci i ruoli IAM S3 e FSx esistenti:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

Ubicazione del backup:

I backup sono archiviati in /tmp/hyperpod-migration-backup-<timestamp>/

I backup consentono una migrazione e un ripristino sicuri:

Rollback:

Se la migrazione non riesce, lo script richiede la conferma dell'utente prima di avviare il rollback per ripristinare lo stato precedente.

SageMaker HyperPod Note sulla versione di Inference: Inference Operator v2.3

Cosa c'è di nuovo

Questa versione introduce nuovi campi opzionali nelle Custom Resource Definitions (CRD) per migliorare la flessibilità di configurazione della distribuzione.

Funzionalità

Correzioni di bug

Le modifiche al campo invocationEndpoint nelle specifiche di ora avranno effetto: InferenceEndpointConfig

Installazione di Helm:

Segui: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

Se ti concentri solo sull'installazione dell'operatore di inferenza, dopo il passaggio 1, ad esempioSet Up Your Helm Environment, cd HyperPodHelmChart/charts/inference-operator esegui. Dato che vi trovate nella cartella stessa del grafico degli operatori di inferenza, nei comandi, ovunque vediatehelm_chart/HyperPodHelmChart, sostituite con. .

Aggiorna Operator alla v2.3 nel caso in cui sia già installato:

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3