View a markdown version of this page

SageMaker HyperPod Eventi del cluster EKS - Amazon SageMaker AI
PrerequisitiEvent types (Tipi di evento)Visualizzazione degli eventi nella consoleElencare gli eventi utilizzando il AWS CLIDescrivere un evento specificoAutomatizzare le risposte con Amazon EventBridgeArgomenti correlati

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

SageMaker HyperPod Eventi del cluster EKS

Amazon SageMaker HyperPod emette eventi di cluster strutturati che forniscono visibilità sulle modifiche operative a livello di cluster, gruppo di istanze e istanza. Puoi utilizzare questi eventi per monitorare l'attività di provisioning, tracciare le operazioni di scalabilità, rilevare guasti e creare pipeline di avvisi automatiche.

Gli eventi cluster sono disponibili per i cluster HyperPod EKS con impostazione su. NodeProvisioningMode Continuous Gli eventi sono accessibili tramite le DescribeClusterEvent API ListClusterEvents and, la console SageMaker AI e Amazon. EventBridge

Per lo schema completo degli eventi, i livelli di gravità, il catalogo completo degli eventi e i dettagli EventBridge sull'integrazione, consultaSageMaker HyperPod riferimento agli eventi del cluster.

Prerequisiti

  • Il cluster HyperPod EKS deve essere NodeProvisioningMode impostato suContinuous. I cluster che utilizzano la modalità di provisioning precedente non emettono eventi strutturati.

  • Per utilizzare l'API, sono necessarie le sagemaker:DescribeClusterEvent autorizzazioni necessarie sagemaker:ListClusterEvents nella policy IAM.

Event types (Tipi di evento)

HyperPod emette due categorie di eventi per i cluster EKS in regime di provisioning continuo: eventi comuni che si applicano a tutti gli orchestratori ed eventi. EKS-specific

Gli eventi comuni riguardano le operazioni dell'infrastruttura di base come il provisioning e la terminazione delle istanze, il ridimensionamento dei gruppi di istanze, la gestione delle prenotazioni di capacità, l'esecuzione degli script del ciclo di vita, la gestione ENI, il ciclo di vita del file system FSx e i flussi di lavoro di patching. HyperPod Per l'Eventi comuni (EKS e Slurm)elenco completo, consulta il riferimento agli eventi del cluster.

EKS-specific gli eventi riguardano operazioni specifiche dell'orchestratore, come la gestione degli accessi di EKS, gli aggiornamenti della configurazione di Kubernetes (etichette e contaminanti), il ciclo di vita della scalabilità automatica di Karpenter, l'eliminazione dei pod e durante l'applicazione delle patch e il monitoraggio degli allarmi in fase di cottura con rollback automatico. cordon/uncordon Questi EKS-specific eventi forniscono visibilità sulle fasi del ciclo di vita che in precedenza erano osservabili solo tramite registri. CloudWatch Per l'elenco completo, consulta il riferimento agli EKS-specific eventi eventi del HyperPod cluster.

Visualizzazione degli eventi nella console

  1. Apri la console SageMaker AI.

  2. Nel riquadro di navigazione a sinistra, scegli HyperPod cluster.

  3. Scegli il nome del cluster.

  4. Scegli la scheda Eventi.

La scheda Eventi mostra un elenco impaginato di eventi con colonne per livello di evento, ID evento, nome della risorsa, tipo di risorsa, descrizione e ora dell'evento. Puoi filtrare gli eventi per attributo utilizzando la casella di ricerca, ordinarli per ora dell'evento e scegliere un ID evento per visualizzare tutti i dettagli dell'evento, inclusi i metadati dell'evento e il record completo dell'evento.

Elencare gli eventi utilizzando il AWS CLI

Usa il list-cluster-events comando per recuperare gli eventi per il tuo cluster:

aws sagemaker list-cluster-events \
    --cluster-name my-eks-cluster \
    --sort-by EventTime \
    --sort-order Descending \
    --max-results 20

Puoi restringere i risultati utilizzando i seguenti filtri:

  • --resource-type— filtra perCluster,InstanceGroup, oInstance.

  • --instance-group-name— filtra in base agli eventi per un gruppo di istanze specifico.

  • --node-id— filtra gli eventi per una specifica istanza EC2.

  • --event-time-aftere --event-time-before — filtra in base a una finestra temporale specifica.

Ad esempio, per visualizzare solo gli eventi a livello di gruppo di istanze per un gruppo di istanze specifico:

aws sagemaker list-cluster-events \
    --cluster-name my-eks-cluster \
    --resource-type InstanceGroup \
    --instance-group-name gpu-workers

Descrivere un evento specifico

Usa il describe-cluster-event comando con un ID evento dall'output dell'elenco per recuperare i dettagli completi dell'evento, inclusi, EventLevelDescription, e: EventMetadata

aws sagemaker describe-cluster-event \
    --cluster-name my-eks-cluster \
    --event-id 83ea0bb5-be77-45e8-a458-0a87f778a205

Per la struttura del record dell'evento restituito e una descrizione di ogni campo, consulta Registro degli eventi del cluster il riferimento agli eventi del HyperPod cluster.

Automatizzare le risposte con Amazon EventBridge

HyperPod Gli eventi del cluster vengono inviati automaticamente ad Amazon EventBridge con il tipo di dettaglioSageMaker HyperPod Cluster Event, consentendoti di indirizzare gli eventi a destinazioni come Lambda, Amazon SNS, Step Functions o Amazon SQS. Puoi filtrare sul EventLevel campo per attivare avvisi solo per gli Error eventi o filtrare in base all'ARN del cluster per definire l'ambito delle regole per un cluster specifico.

Per i modelli di EventBridge eventi, gli esempi di payload e i tipi correlati SageMaker HyperPod Cluster State Change e di SageMaker HyperPod Cluster Node Health Event dettaglio, consulta EventBridge integrazione il riferimento agli eventi del HyperPod cluster.