Berücksichtigung wichtiger Hinweise - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Berücksichtigung wichtiger Hinweise

Dieser Abschnitt enthält einige wichtige Hinweise, die für Sie hilfreich sein könnten.

  1. Gehen Sie wie folgt vor, um zu einem Slurm-Cluster mit mehreren Controllern zu migrieren.

    1. Folgen Sie den Anweisungen unter Bereitstellen von Ressourcen unter Verwendung von CloudFormation -Stacks, um alle erforderlichen Ressourcen bereitzustellen.

    2. Folgen Sie den Anweisungen unter Vorbereiten und Hochladen von Lebenszyklusskripten, um die aktualisierten Lebenszyklusskripte hochzuladen. Verschieben Sie beim Aktualisieren der provisioning_parameters.json-Datei Ihre bestehende Controller-Gruppe in den worker_groups-Abschnitt und fügen Sie dem controller_group-Abschnitt einen neuen Controller-Gruppennamen hinzu.

    3. Führen Sie den API-Aufruf update-cluster aus, um eine neue Controller-Gruppe zu erstellen und die ursprünglichen Compute-Instance-Gruppen und die Controller-Gruppe beizubehalten.

  2. Verwenden Sie den CLI-Befehl update-cluster, um die Anzahl der Controller-Knoten zu reduzieren. Für jede Controller-Instance-Gruppe beträgt die Mindestanzahl der Controller-Knoten, auf die Sie herunterskalieren können, 1. Das bedeutet, dass Sie die Anzahl der Controller-Knoten nicht auf 0 herunterskalieren können.

    Wichtig

    Für Cluster, die vor dem 24. Januar 2025 erstellt wurden, müssen Sie zuerst Ihre Clustersoftware mithilfe der UpdateClusterSoftwareAPI aktualisieren, bevor Sie den CLI-Befehl update-cluster ausführen.

    Im Folgenden finden Sie ein Beispiel für einen CLI-Befehl zum Herunterskalieren der Anzahl der Controller-Knoten.

    aws sagemaker update-cluster \
    --cluster-name my_cluster \
    --instance-groups '[{                  
    "InstanceGroupName": "controller_ig_name",
    "InstanceType": "ml.t3.medium",
    "InstanceCount": 3,
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket1",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "slurm_execution_role_arn",
    "ThreadsPerCore": 1
},
{
    "InstanceGroupName": "compute-ig_name",       
    "InstanceType": "ml.c5.xlarge",
    "InstanceCount": 2,
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket1",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "compute_node_role_arn",
    "ThreadsPerCore": 1
}]'

  3. Verwenden Sie den batch-delete-cluster-nodesCLI-Befehl, um die Controller-Knoten stapelweise zu löschen. Für jede Controller-Instance-Gruppe müssen Sie mindestens einen Controller-Knoten behalten. Wenn Sie alle Controller-Knoten stapelweise löschen möchten, funktioniert die API-Operation nicht.

    Wichtig

    Für Cluster, die vor dem 24. Januar 2025 erstellt wurden, müssen Sie zuerst Ihre Clustersoftware mithilfe der UpdateClusterSoftwareAPI aktualisieren, bevor Sie den batch-delete-cluster-nodesCLI-Befehl ausführen.

    Im Folgenden finden Sie ein Beispiel für einen CLI-Befehl, um die Controller-Knoten stapelweise zu löschen.

    aws sagemaker batch-delete-cluster-nodes --cluster-name my_cluster --node-ids instance_ids_to_delete

  4. Um Ihre Probleme bei der Clustererstellung zu beheben, überprüfen Sie die Fehlermeldung auf der Seite mit den Cluster-Details in Ihrer SageMaker AI-Konsole. Sie können CloudWatch Protokolle auch verwenden, um Probleme bei der Clustererstellung zu beheben. Wählen Sie in der CloudWatch Konsole Protokollgruppen aus. Suchen Sie dann nach clusters, um die Liste der Protokollgruppen anzuzeigen, die sich auf Ihre Clustererstellung beziehen.

    Bild, das SageMaker HyperPod Amazon-Cluster-Protokollgruppen in der CloudWatch Konsole zeigt.