Crea e configura un HyperPod cluster con la scalabilità automatica di Karpenter

Carica la configurazione dell'ambiente ed estrai i valori dagli CloudFormation stack.

source .env
SUBNET1=$(cfn-output $VPC_STACK_NAME PrivateSubnet1)
SUBNET2=$(cfn-output $VPC_STACK_NAME PrivateSubnet2)
SUBNET3=$(cfn-output $VPC_STACK_NAME PrivateSubnet3)
SECURITY_GROUP=$(cfn-output $VPC_STACK_NAME NoIngressSecurityGroup)
EKS_CLUSTER_ARN=$(cfn-output $EKS_STACK_NAME ClusterArn)
EXECUTION_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ExecutionRole)
SERVICE_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ServiceRole)
BUCKET_NAME=$(cfn-output $SAGEMAKER_STACK_NAME Bucket)
HP_CLUSTER_NAME="hyperpod-eks-test-$(date +%s)"
EKS_CLUSTER_NAME=$(cfn-output $EKS_STACK_NAME ClusterName)
HP_CLUSTER_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ClusterRole)

Carica lo script di inizializzazione del nodo sul tuo bucket Amazon S3.

aws s3 cp lifecyclescripts/on_create_noop.sh s3://$BUCKET_NAME

Crea un file di configurazione del cluster con le variabili di ambiente.

cat > cluster_config.json << EOF
{
    "ClusterName": "$HP_CLUSTER_NAME",
    "InstanceGroups": [
        {
            "InstanceCount": 1,
            "InstanceGroupName": "system",
            "InstanceType": "ml.c5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE"
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-c5-az1",
            "InstanceType": "ml.c5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE"
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-c5-4xaz2",
            "InstanceType": "ml.c5.4xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE",
            "OverrideVpcConfig": {
                "SecurityGroupIds": [
                    "$SECURITY_GROUP"
                ],
                "Subnets": [
                    "$SUBNET2"
                ]
            }
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-g5-az3",
            "InstanceType": "ml.g5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE",
            "OverrideVpcConfig": {
                "SecurityGroupIds": [
                    "$SECURITY_GROUP"
                ],
                "Subnets": [
                    "$SUBNET3"
                ]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": [
            "$SECURITY_GROUP"
        ],
        "Subnets": [
            "$SUBNET1"
        ]
    },
    "Orchestrator": {
        "Eks": {
            "ClusterArn": "$EKS_CLUSTER_ARN"
        }
    },
    "ClusterRole": "$HP_CLUSTER_ROLE",
    "AutoScaling": {
        "Mode": "Enable",
        "AutoScalerType": "Karpenter"
    },
    "NodeProvisioningMode": "Continuous"
}
EOF

Esegui il comando seguente per creare il tuo HyperPod cluster.

aws sagemaker create-cluster --cli-input-json file://./cluster_config.json

La procedura di creazione del cluster richiede circa 20 minuti. Monitora lo stato del cluster fino alla visualizzazione sia ClusterStatus di .Status che di AutoScaling .Status. InService

Salva l’ARN del cluster per le operazioni successive.

HP_CLUSTER_ARN=$(aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME \
   --output text --query ClusterArn)

Utilizza il comando seguente per abilitare il dimensionamento automatico basato su Karpenter su qualsiasi cluster preesistente con la modalità di provisioning continuo dei nodi.

aws sagemaker update-cluster \
    --cluster-name $HP_CLUSTER_NAME \
    --auto-scaling Mode=Enable,AutoScalerType=Karpenter \
    --cluster-role $HP_CLUSTER_ROLE

Verifica che Karpenter sia stato abilitato correttamente:

aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME --query 'AutoScaling'

Output previsto:

{
    "Mode": "Enable",
    "AutoScalerType": "Karpenter",
    "Status": "InService"
}