Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Provisionnement continu pour des opérations de cluster améliorées sur Amazon EKS

SageMaker HyperPod Les clusters Amazon créés avec l'orchestration Amazon EKS prennent désormais en charge le provisionnement continu, une nouvelle fonctionnalité qui permet une flexibilité et une efficacité accrues lors de l'exécution de charges de travail à grande échelle AI/ML . Le provisionnement continu vous permet de démarrer la formation rapidement, d'évoluer facilement, d'effectuer la maintenance sans perturber les opérations et de bénéficier d'une visibilité granulaire sur les opérations du cluster.

Comment ça marche

Le provisionnement continu fonctionne grâce à une architecture axée sur les événements qui gère chaque instance de manière indépendante. Lorsque vous créez un HyperPod cluster, vous spécifiez le nombre d'instances souhaité pour chaque groupe d'instances. Le système de provisionnement continu :

Le provisionnement continu est désactivé par défaut. Pour utiliser cette fonctionnalité, réglez --node-provisioning-mode surContinuous.

Lorsque le provisionnement continu est activé, vous pouvez lancer plusieurs opérations de dimensionnement simultanément sans attendre la fin des opérations précédentes. Cela vous permet de dimensionner simultanément différents groupes d'instances dans le même cluster et de soumettre plusieurs demandes de dimensionnement au même groupe d'instances.

Le provisionnement continu vous permet également d'accéder à une DescribeClusterEventsurveillance détaillée ListClusterEventdes événements et à une visibilité opérationnelle.

Mesurage de l'utilisation

HyperPod les clusters dotés d'un provisionnement continu utilisent des mesures au niveau de l'instance pour fournir une facturation précise qui reflète l'utilisation réelle des ressources. Cette approche de mesure diffère de la facturation traditionnelle au niveau du cluster car elle permet de suivre chaque instance indépendamment.

Facturation au niveau de l'instance

Avec le provisionnement continu, la facturation commence et s'arrête au niveau de l'instance individuelle plutôt que d'attendre les changements d'état au niveau du cluster. Cette approche présente les avantages suivants :

Cycle de vie de facturation

Chaque instance de votre HyperPod cluster suit le cycle de vie de facturation suivant :

Créez un cluster avec le provisionnement continu activé

L' AWS CLI opération suivante crée un HyperPod cluster avec un groupe d'instances et le provisionnement continu activé.

aws sagemaker-dev create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Après avoir créé votre cluster, vous pouvez utiliser ListClusterNodesou DescribeClusterNodepour obtenir plus d'informations sur les nœuds du cluster.

L'appel de ces opérations renverra un ClusterInstanceStatusDetailsobjet avec l'une des valeurs suivantes :