View a markdown version of this page

SageMaker HyperPod Clusterverwaltung - Amazon SageMaker KI
SageMaker HyperPod Ereignisse protokollierenProtokollierung SageMaker HyperPod auf InstanzebeneTaggen von Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

SageMaker HyperPod Clusterverwaltung

In den folgenden Themen wird die Protokollierung und Verwaltung von SageMaker HyperPod Clustern behandelt.

SageMaker HyperPod Ereignisse protokollieren

Alle Ereignisse und Protokolle von SageMaker HyperPod werden in Amazon CloudWatch unter dem Namen der Protokollgruppe gespeichert/aws/sagemaker/Clusters/[ClusterName]/[ClusterID]. Jeder Aufruf der CreateCluster-API erstellt eine neue Protokollgruppe. Die folgende Liste enthält alle verfügbaren Protokollstreams, die in jeder Protokollgruppe gesammelt wurden.

Name der Protokollgruppe Name des Protokollstreams
/aws/sagemaker/Clusters/[ClusterName]/[ClusterID] LifecycleConfig/[instance-group-name]/[instance-id]

Protokollierung SageMaker HyperPod auf Instanzebene

Sie können auf die LifecycleScript Protokolle zugreifen, die CloudWatch während der Konfiguration der Clusterinstanz veröffentlicht wurden. Jede Instance innerhalb des erstellten Clusters generiert einen separaten Protokollstream, der sich durch das Format LifecycleConfig/[instance-group-name]/[instance-id] unterscheidet.

Alle Protokolle, in die geschrieben wird, /var/log/provision/provisioning.log werden in den vorherigen CloudWatch Stream hochgeladen. Beispiel für LifecycleScripts die 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config Weiterleitung von stdout und stderr zu diesem Speicherort. Wenn Sie Ihre benutzerdefinierten Skripts verwenden, schreiben Sie Ihre Protokolle an den /var/log/provision/provisioning.log Ort, an dem sie verfügbar sind CloudWatch.

Markierungen für Lifecycle-Skripte

CloudWatch Die Protokolle für Lifecycle-Skripts enthalten spezifische Markierungen, mit denen Sie den Ausführungsfortschritt verfolgen und Probleme identifizieren können:

Marker Beschreibung
START Indicates the beginning of lifecycle script logs for the instance
[SageMaker] Lifecycle scripts were provided, with S3 uri: [s3://bucket-name/] and entrypoint script: [script-name.sh] Indicates the S3 location and entrypoint script that will be used
[SageMaker] Downloading lifecycle scripts Indicates scripts are being downloaded from the specified S3 location
[SageMaker] Lifecycle scripts have been downloaded Indicates scripts have been successfully downloaded from S3
[SageMaker] The lifecycle scripts succeeded Indicates successful completion of all lifecycle scripts
[SageMaker] The lifecycle scripts failed Indicates failed execution of lifecycle scripts

Mithilfe dieser Markierungen können Sie schnell erkennen, an welcher Stelle im Ausführungsprozess des Lifecycle-Skripts ein Problem aufgetreten ist. Überprüfen Sie bei der Behebung von Fehlern die Protokolleinträge, um festzustellen, wo der Prozess gestoppt wurde oder fehlgeschlagen ist.

Fehlermeldungen des Lifecycle-Skripts

Wenn das Lifecycle-Skript existiert, aber bei der Ausführung fehlschlägt, erhalten Sie eine Fehlermeldung, die den Namen der CloudWatch Protokollgruppe und den Namen des Log-Streams enthält. Falls das Lifecycle-Skript in mehreren Instanzen ausfällt, weist die Fehlermeldung darauf hin, dass nur eine Instanz ausgefallen ist. Die Protokollgruppe sollte jedoch Streams für alle Instanzen enthalten.

Sie können die Fehlermeldung anzeigen, indem Sie die DescribeCluster API ausführen oder die Cluster-Detailseite in der SageMaker Konsole aufrufen. In der Konsole befindet sich die Schaltfläche „Lifecycle-Skriptprotokolle anzeigen“, über die Sie direkt zum CloudWatch Log-Stream navigieren können. Die Fehlermeldung hat das folgende Format:

Instance [instance-id] failed to provision with the following error: "Lifecycle scripts did not run successfully. To view lifecycle script logs,
visit log group ‘/aws/sagemaker/Clusters/[cluster-name]/[cluster-id]' and log stream ‘LifecycleConfig/[instance-group-name]/[instance-id]’.
If you cannot find corresponding lifecycle script logs in CloudWatch, please make sure you follow one of the options here:
https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod-faq-slurm.html#hyperpod-faqs-q1.” Note that multiple instances may be impacted.

Taggen von Ressourcen

AWS Das Tagging-System hilft beim Verwalten, Identifizieren, Organisieren, Suchen und Filtern von Ressourcen. SageMaker HyperPod unterstützt Tagging, sodass Sie die Cluster als Ressource verwalten können. AWS Während der Clustererstellung oder Bearbeitung eines vorhandenen Clusters können Sie Tags für den Cluster hinzufügen oder bearbeiten. Weitere Informationen zum Markieren im Allgemeinen finden Sie unter Markieren Ihrer AWS -Ressourcen.

Verwenden der SageMaker HyperPod Konsolen-Benutzeroberfläche

Wenn Sie einen neuen Cluster erstellen oder einen Cluster bearbeiten, können Sie Tags hinzufügen, entfernen oder bearbeiten.

Verwenden der SageMaker HyperPod APIs

Wenn Sie eine CreateCluster oder UpdateCluster API-Anforderungsdatei im JSON-Format schreiben, bearbeiten Sie den Tags Abschnitt.

Verwendung der AWS CLI Tagging-Befehle für KI SageMaker

So markieren Sie einen Cluster

Verwenden Sie aws sagemaker add-tags wie folgt.

aws sagemaker add-tags --resource-arn cluster_ARN --tags Key=string,Value=string

So heben Sie die Markierung eines Clusters auf

Verwenden Sie aws sagemaker delete-tags wie folgt.

aws sagemaker delete-tags --resource-arn cluster_ARN --tag-keys "tag_key"

So listen Sie Tags für eine Ressource auf

Verwenden Sie aws sagemaker list-tags wie folgt.

aws sagemaker list-tags --resource-arn cluster_ARN