Karpenter オートスケーリングを使用した HyperPod クラスターを作成して設定する - Amazon SageMaker AI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Karpenter オートスケーリングを使用した HyperPod クラスターを作成して設定する

次の手順では、継続的プロビジョニングを有効にして SageMaker HyperPod クラスターを作成し、Karpenter ベースのオートスケーリングを使用するように設定します。

HyperPod クラスターを作成する

  1. 環境設定をロードし、CloudFormation スタックから値を抽出します。

    source .env
SUBNET1=$(cfn-output $VPC_STACK_NAME PrivateSubnet1)
SUBNET2=$(cfn-output $VPC_STACK_NAME PrivateSubnet2)
SUBNET3=$(cfn-output $VPC_STACK_NAME PrivateSubnet3)
SECURITY_GROUP=$(cfn-output $VPC_STACK_NAME NoIngressSecurityGroup)
EKS_CLUSTER_ARN=$(cfn-output $EKS_STACK_NAME ClusterArn)
EXECUTION_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ExecutionRole)
SERVICE_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ServiceRole)
BUCKET_NAME=$(cfn-output $SAGEMAKER_STACK_NAME Bucket)
HP_CLUSTER_NAME="hyperpod-eks-test-$(date +%s)"
EKS_CLUSTER_NAME=$(cfn-output $EKS_STACK_NAME ClusterName)
HP_CLUSTER_ROLE=$(cfn-output $SAGEMAKER_STACK_NAME ClusterRole)

  2. ノード初期化スクリプトを Amazon S3 バケットにアップロードします。

    aws s3 cp lifecyclescripts/on_create_noop.sh s3://$BUCKET_NAME

  3. 環境変数を使用してクラスター設定ファイルを作成します。

    cat > cluster_config.json << EOF
{
    "ClusterName": "$HP_CLUSTER_NAME",
    "InstanceGroups": [
        {
            "InstanceCount": 1,
            "InstanceGroupName": "system",
            "InstanceType": "ml.c5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE"
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-c5-az1",
            "InstanceType": "ml.c5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE"
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-c5-4xaz2",
            "InstanceType": "ml.c5.4xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE",
            "OverrideVpcConfig": {
                "SecurityGroupIds": [
                    "$SECURITY_GROUP"
                ],
                "Subnets": [
                    "$SUBNET2"
                ]
            }
        },
        {
            "InstanceCount": 0,
            "InstanceGroupName": "auto-g5-az3",
            "InstanceType": "ml.g5.xlarge",
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://$BUCKET_NAME",
                "OnCreate": "on_create_noop.sh"
            },
            "ExecutionRole": "$EXECUTION_ROLE",
            "OverrideVpcConfig": {
                "SecurityGroupIds": [
                    "$SECURITY_GROUP"
                ],
                "Subnets": [
                    "$SUBNET3"
                ]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": [
            "$SECURITY_GROUP"
        ],
        "Subnets": [
            "$SUBNET1"
        ]
    },
    "Orchestrator": {
        "Eks": {
            "ClusterArn": "$EKS_CLUSTER_ARN"
        }
    },
    "ClusterRole": "$HP_CLUSTER_ROLE",
    "AutoScaling": {
        "Mode": "Enable",
        "AutoScalerType": "Karpenter"
    },
    "NodeProvisioningMode": "Continuous"
}
EOF

  4. 次のコマンドを実行して HyperPod クラスターを作成します。

    aws sagemaker create-cluster --cli-input-json file://./cluster_config.json

  5. クラスター作成プロセスの所要時間は約 20分です。ClusterStatus と AutoScaling.Status の両方が InService を表示するまで、クラスターのステータスをモニタリングします。

  6. 今後のオペレーションのために、このクラスター ARN を保存します。

    HP_CLUSTER_ARN=$(aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME \
   --output text --query ClusterArn)
Karpenter オートスケーリングを有効にする

  1. 次のコマンドを実行して、継続的ノードプロビジョニングモードの既存のクラスターで Karpenter ベースのオートスケーリングを有効にします。

    aws sagemaker update-cluster \
    --cluster-name $HP_CLUSTER_NAME \
    --auto-scaling Mode=Enable,AutoScalerType=Karpenter \
    --cluster-role $HP_CLUSTER_ROLE

  2. Karpenter が正常に有効になっていることを検証します。

    aws sagemaker describe-cluster --cluster-name $HP_CLUSTER_NAME --query 'AutoScaling'

  3. 正常な出力:

    {
    "Mode": "Enable",
    "AutoScalerType": "Karpenter",
    "Status": "InService"
}

NodeClass と NodePool の設定に進む前に、Status が InService と表示されるのを待ちます。