Réduction verticale d’un cluster SageMaker HyperPod

Vous pouvez réduire verticalement le nombre d’instances exécutées sur votre cluster Amazon SageMaker HyperPod. Vous souhaiterez peut-être réduire verticalement un cluster pour diverses raisons, telles qu’une réduction de l’utilisation des ressources ou l’optimisation des coûts.

La page suivante décrit deux approches principales en matière de réduction verticale :

Considérations importantes

Réduction verticale au niveau du groupe d’instances

L’opération UpdateCluster vous permet d’apporter des modifications à la configuration de votre cluster SageMaker HyperPod, par exemple en réduisant verticalement le nombre d’instances d’un groupe d’instances ou en supprimant des groupes d’instances entiers. Cela peut être utile lorsque vous souhaitez ajuster les ressources allouées à votre cluster en fonction de l’évolution de votre charge de travail, optimiser les coûts ou modifier le type d’instance d’un groupe d’instances.

Réduction verticale d’un groupe d’instances

Utilisez cette approche lorsqu’un groupe d’instances est inactif et qu’il est possible de résilier l’une quelconque des instances en toute sécurité pour effectuer une réduction verticale. Lorsque vous soumettez une demande UpdateCluster de réduction verticale, HyperPod choisit au hasard les instances à résilier et effectue une réduction verticale jusqu’au nombre de nœuds spécifié pour le groupe d’instances.

Vous trouverez ci-dessous un exemple d’objet JSON UpdateCluster. Imaginons le cas où votre groupe d’instances possède actuellement 2 instances en cours d’exécution. Si vous définissez le champ InstanceCount sur 1, comme indiqué dans l’exemple, HyperPod sélectionne au hasard l’une des instances et la résilie.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training-instances",
      "InstanceType": "instance-type",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    }
  ],
  "NodeRecovery": "Automatic"
}

Suppression de groupes d’instances

Vous pouvez utiliser l’opération UpdateCluster pour supprimer des groupes d’instances entiers de votre cluster SageMaker HyperPod lorsqu’ils ne sont plus nécessaires. Cela va au-delà d’une simple réduction verticale et vous permet d’éliminer complètement des groupes d’instances spécifiques de la configuration de votre cluster.

Vous trouverez ci-dessous un exemple d’objet JSON UpdateCluster. Prenons le cas où un cluster possède actuellement 3 groupes d’instances, un groupe d’entraînement, un groupe d’entraînement de prototype et un groupe d’inférence. Vous souhaitez supprimer le groupe d’entraînement de prototype.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training",
      "InstanceType": "instance-type",
      "InstanceCount": ,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    },
    {
      "InstanceGroupName": "inference-serving",
      "InstanceType": "instance-type",
      "InstanceCount": 2,
      [...]
    },
  ],
  "InstanceGroupsToDelete": [ "prototype-training" ],
  "NodeRecovery": "Automatic"
}

Réduction verticale au niveau des instances

L’opération BatchDeleteClusterNodes vous permet de réduire verticalement un cluster SageMaker HyperPod en spécifiant les nœuds individuels que vous souhaitez résilier. BatchDeleteClusterNodes fournit un contrôle plus granulaire pour la suppression ciblée des nœuds et l’optimisation du cluster. Par exemple, vous pouvez utiliser BatchDeleteClusterNodes pour supprimer des nœuds ciblés à des fins de maintenance, de mises à niveau continues ou de rééquilibrage géographique des ressources.

Demande et réponse d’API

Lorsque vous soumettez une demande BatchDeleteClusterNodes, SageMaker HyperPod supprime les nœuds en fonction de leurs identifiants d’instance. L’API accepte une demande contenant le nom du cluster et une liste d’identifiants de nœuds à supprimer.

La réponse contient deux sections :

Validation et gestion des erreurs

L’API effectue diverses validations, telles que :

Codes de réponse d’API

Exemple

Voici un exemple de réduction verticale d’un cluster au niveau des instances à l’aide de l’AWS CLI :

aws sagemaker batch-delete-cluster-nodes --cluster-name "cluster-name" --node-ids '["i-111112222233333", "i-111112222233333"]'