Création et configuration d'un HyperPod cluster avec Karpenter Autoscaling - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création et configuration d'un HyperPod cluster avec Karpenter Autoscaling

Dans les étapes suivantes, vous allez créer un SageMaker HyperPod cluster avec le provisionnement continu activé et le configurer pour utiliser l'autoscaling basé sur Karpenter.

Création d'un HyperPod cluster

  1. Chargez la configuration de votre environnement et extrayez les valeurs des CloudFormation piles.

    source .env
SUBNET1=$(cfn-output $VPC_STACK_NAME PrivateSubnet1)
SUBNET2=$(cfn-output $VPC_STACK_NAME PrivateSubnet2)
SUBNET3=$(cfn-output $VPC_STACK_NAME PrivateSubnet3)
SECURITY_GROUP=$(cfn-output $VPC_STACK_NAME NoIngressSecurityGroup)
EKS_CLUSTER_ARN=$(cfn-output $EKS_STACK_NAME ClusterArn)
EXECUTION_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ExecutionRole)
SERVICE_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ServiceRole)
BUCKET_NAME=$(cfn-output $SAGEMAKER_STACK_NAME Bucket)
HP_CLUSTER_NAME="hyperpod-eks-test-$(date +%s)"
EKS_CLUSTER_NAME=$(cfn-output $EKS_STACK_NAME ClusterName)
HP_CLUSTER_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ClusterRole)

  2. Chargez le script d’initialisation de nœud dans votre compartiment Amazon S3.

    aws s3 cp lifecyclescripts/on_create_noop.sh s3://$BUCKET_NAME

  3. Créez un fichier de configuration de cluster avec vos variables d’environnement.

    cat > cluster_config.json << EOF
{
    "ClusterName": "$HP_CLUSTER_NAME",
    "InstanceGroups": [
        {
            "InstanceCount": 1,
            "InstanceGroupName": "system",
            "InstanceType": "ml.c5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE"
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-c5-az1",
            "InstanceType": "ml.c5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE"
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-c5-4xaz2",
            "InstanceType": "ml.c5.4xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE",
            "OverrideVpcConfig": {
                "SecurityGroupIds": [
                    "$SECURITY_GROUP"
                ],
                "Subnets": [
                    "$SUBNET2"
                ]
            }
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-g5-az3",
            "InstanceType": "ml.g5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE",
            "OverrideVpcConfig": {
                "SecurityGroupIds": [
                    "$SECURITY_GROUP"
                ],
                "Subnets": [
                    "$SUBNET3"
                ]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": [
            "$SECURITY_GROUP"
        ],
        "Subnets": [
            "$SUBNET1"
        ]
    },
    "Orchestrator": {
        "Eks": {
            "ClusterArn": "$EKS_CLUSTER_ARN"
        }
    },
    "ClusterRole": "$HP_CLUSTER_ROLE",
    "AutoScaling": {
        "Mode": "Enable",
        "AutoScalerType": "Karpenter"
    },
    "NodeProvisioningMode": "Continuous"
}
EOF

  4. Exécutez la commande suivante pour créer votre HyperPod cluster.

    aws sagemaker create-cluster --cli-input-json file://./cluster_config.json

  5. Le processus de création du cluster prend environ 20 minutes. Surveillez l'état du cluster jusqu'à ce que .Status ClusterStatus et AutoScaling .Status s'affichent InService.

  6. Enregistrez l’ARN du cluster pour les opérations suivantes.

    HP_CLUSTER_ARN=$(aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME \
   --output text --query ClusterArn)
Activation de la mise à l’échelle automatique de Karpenter

  1. Exécutez la commande suivante pour activer la mise à l’échelle automatique basée sur Karpenter sur tout cluster préexistant doté d’un mode de provisionnement continu des nœuds.

    aws sagemaker update-cluster \
    --cluster-name $HP_CLUSTER_NAME \
    --auto-scaling Mode=Enable,AutoScalerType=Karpenter \
    --cluster-role $HP_CLUSTER_ROLE

  2. Vérifiez que Karpenter a bien été activé :

    aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME --query 'AutoScaling'

  3. Sortie attendue :

    {
    "Mode": "Enable",
    "AutoScalerType": "Karpenter",
    "Status": "InService"
}

Attendez que le Status s'affiche InService avant de procéder à la configuration NodeClass et NodePool.