Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
SageMaker HyperPod gestione dei cluster
I seguenti argomenti illustrano la registrazione e la gestione dei cluster. SageMaker HyperPod
Registrazione degli eventi SageMaker HyperPod
Tutti gli eventi e i log di SageMaker HyperPod vengono salvati su Amazon CloudWatch con il nome /aws/sagemaker/Clusters/[ClusterName]/[ClusterID] del gruppo di log. Ogni chiamata all’API CreateCluster crea un nuovo gruppo di log. L’elenco seguente contiene tutti i flussi di log disponibili raccolti in ogni gruppo di log.
| Nome del gruppo di log | Nome del flusso di log |
/aws/sagemaker/Clusters/[ClusterName]/[ClusterID] |
LifecycleConfig/[instance-group-name]/[instance-id] |
Registrazione SageMaker HyperPod a livello di istanza
È possibile accedere ai LifecycleScript log pubblicati CloudWatch durante la configurazione dell'istanza del cluster. Ogni istanza all’interno del cluster creato genera un flusso di log separato, distinguibile in base al formato LifecycleConfig/[instance-group-name]/[instance-id].
Tutti i log su cui vengono scritti /var/log/provision/provisioning.log vengono caricati nello CloudWatch stream precedente. Prova LifecycleScripts a 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-configstdout e stderr a questa posizione. Se utilizzi script personalizzati, scrivi i log nella /var/log/provision/provisioning.log posizione in cui saranno disponibili. CloudWatch
Marcatori dei log degli script del ciclo di vita
CloudWatch i log per gli script del ciclo di vita includono indicatori specifici che consentono di tenere traccia dell'avanzamento dell'esecuzione e identificare i problemi:
| Marker | Descrizione |
START |
Indicates the beginning of lifecycle script logs for the instance |
[SageMaker] Lifecycle scripts were provided, with S3 uri: |
Indicates the S3 location and entrypoint script that will be used |
[SageMaker] Downloading lifecycle scripts |
Indicates scripts are being downloaded from the specified S3 location |
[SageMaker] Lifecycle scripts have been downloaded |
Indicates scripts have been successfully downloaded from S3 |
[SageMaker] The lifecycle scripts succeeded |
Indicates successful completion of all lifecycle scripts |
[SageMaker] The lifecycle scripts failed |
Indicates failed execution of lifecycle scripts |
Questi indicatori consentono di identificare rapidamente in quale punto del processo di esecuzione degli script del ciclo di vita si è verificato un problema. Quando risolvete gli errori, esaminate le voci del registro per identificare dove il processo si è interrotto o non è riuscito.
Messaggi di errore relativi al ciclo di vita degli script
Se lo script del ciclo di vita esiste ma non riesce durante l'esecuzione, riceverai un messaggio di errore che include il nome del gruppo di log e il nome del flusso di CloudWatch log. Nel caso in cui si verifichino errori dello script del ciclo di vita in più istanze, il messaggio di errore indicherà solo un'istanza fallita, ma il gruppo di log deve contenere i flussi per tutte le istanze.
È possibile visualizzare il messaggio di errore eseguendo l'DescribeClusterAPI o visualizzando la pagina dei dettagli del cluster nella console. SageMaker Nella console, viene fornito un pulsante Visualizza i log degli script del ciclo di vita che consente di accedere direttamente al CloudWatch flusso di log. Il messaggio di errore ha il seguente formato:
Instance[instance-id]failed to provision with the following error: "Lifecycle scripts did not run successfully. To view lifecycle script logs, visit log group ‘/aws/sagemaker/Clusters/[cluster-name]/[cluster-id]' and log stream ‘LifecycleConfig/[instance-group-name]/[instance-id]’. If you cannot find corresponding lifecycle script logs in CloudWatch, please make sure you follow one of the options here: https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod-faq-slurm.html#hyperpod-faqs-q1.” Note that multiple instances may be impacted.
Applicazione di tag alle risorse
AWS Il sistema di etichettatura aiuta a gestire, identificare, organizzare, cercare e filtrare le risorse. SageMaker HyperPod supporta il tagging, in modo da poter gestire i cluster come risorsa. AWS Durante la creazione o la modifica di un cluster esistente, puoi aggiungere o modificare i tag per il cluster. Per ulteriori informazioni generali sul tagging, consulta Tagging delle risorse AWS.
Utilizzo dell'interfaccia utente della console SageMaker HyperPod
Quando crei un nuovo cluster o modifichi un cluster, puoi aggiungere, modificare o rimuovere tag.
Utilizzo delle SageMaker HyperPod API
Quando scrivi un file di richiesta CreateCluster o UpdateCluster API in formato JSON, modifica la Tags sezione.
Utilizzo di AWS CLI comandi di etichettatura per AI SageMaker
Per taggare un cluster
Utilizza aws sagemaker add-tags come segue.
aws sagemaker add-tags --resource-arncluster_ARN--tags Key=string,Value=string
Per rimuovere un tag da un cluster
Utilizza aws sagemaker delete-tags come segue.
aws sagemaker delete-tags --resource-arncluster_ARN--tag-keys"tag_key"
Per elencare i tag per una risorsa
Utilizza aws sagemaker list-tags come segue.
aws sagemaker list-tags --resource-arncluster_ARN
