Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Provisionnement continu pour des opérations de cluster améliorées sur Amazon EKS

SageMaker HyperPod Les clusters Amazon créés avec l'orchestration Amazon EKS prennent désormais en charge le provisionnement continu, une nouvelle fonctionnalité qui permet une flexibilité et une efficacité accrues lors de l'exécution de charges de travail à grande échelle AI/ML . Le provisionnement continu vous permet de démarrer l’entraînement rapidement, de procéder facilement à une mise à l’échelle, d’effectuer la maintenance sans interrompre les opérations et de bénéficier d’une visibilité granulaire sur les opérations du cluster.

Comment ça marche

Le système de provisionnement continu introduit une architecture à état souhaité qui remplace le modèle traditionnel basé sur les demandes. Cette nouvelle architecture permet des opérations parallèles et non bloquantes sur différents niveaux de ressources tout en préservant la stabilité et les performances du système. Le système de provisionnement continu :

Le provisionnement continu est désactivé par défaut. Pour utiliser cette fonctionnalité, définissez --node-provisioning-mode sur Continuous.

Lorsque le provisionnement continu est activé, vous pouvez lancer plusieurs opérations de mise à l’échelle simultanément sans attendre la fin des opérations précédentes. Cela vous permet de mettre à l’échelle simultanément différents groupes d’instances dans le même cluster et de soumettre plusieurs demandes de mise à l’échelle au même groupe d’instances.

Le provisionnement continu vous permet également d'accéder à une DescribeClusterEventsurveillance détaillée ListClusterEventdes événements et à une visibilité opérationnelle.

Comptage d’utilisation

HyperPod les clusters dotés d'un provisionnement continu utilisent des mesures au niveau de l'instance pour fournir une facturation précise qui reflète l'utilisation réelle des ressources. Cette approche des mesures diffère de la facturation traditionnelle au niveau du cluster, car elle permet de suivre chaque instance indépendamment.

Facturation au niveau de l’instance

Avec le provisionnement continu, la facturation commence et s’arrête au niveau de l’instance individuelle au lieu d’attendre les changements d’état au niveau du cluster. Cette approche présente les avantages suivants :

Cycle de vie de facturation

Chaque instance de votre HyperPod cluster suit le cycle de vie de facturation suivant :

Création d’un cluster avec le provisionnement continu activé

L'AWS CLIopération suivante crée un HyperPod cluster avec un groupe d'instances et le provisionnement continu activé.

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Après avoir créé votre cluster, vous pouvez utiliser ListClusterNodesou DescribeClusterNodepour obtenir plus d'informations sur les nœuds du cluster.

L'appel de ces opérations renverra un ClusterInstanceStatusDetailsobjet avec l'une des valeurs suivantes :

Exigences de capacité minimale (MinCount)

MinCount Cette fonctionnalité vous permet de spécifier le nombre minimum d'instances qui doivent être correctement provisionnées avant qu'un groupe d'instances ne passe au InService statut. Cette fonctionnalité permet de mieux contrôler les opérations de dimensionnement et d'éviter les scénarios dans lesquels des groupes d'instances partiellement provisionnés ne peuvent pas être utilisés efficacement pour les charges de travail de formation.

Comment MinCount fonctionne

Lorsque vous créez ou mettez à jour un groupe d'instances avec MinCount cette option activée, le comportement suivant se produit :

État du groupe d'instances pendant MinCount les opérations

Les groupes d'instances MinCount configurés présentent le comportement d'état suivant :

Pendant Creating notre Updating statut, les restrictions suivantes s'appliquent :

Comportement de restauration automatique

Si un groupe d'instances ne peut pas l'atteindre MinCount dans les 3 heures, le système lance automatiquement une restauration pour éviter une attente indéfinie :

Le délai d'expiration de 3 heures est réinitialisé chaque fois MinCount qu'il est mis à jour. Par exemple, si vous effectuez MinCount plusieurs mises à jour, le délai d'expiration commence à courir à compter de la dernière mise à jour.

MinCount événements

Le système émet des événements spécifiques pour vous aider à suivre les MinCount opérations :

Vous pouvez surveiller ces événements ListClusterEventspour suivre la progression de vos MinCount opérations.

Utilisation de l'API

MinCount est spécifié à l'aide du MinInstanceCount paramètre dans les configurations de groupes d'instances :

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

Principales considérations relatives à MinCount l'utilisation :