SageMaker HyperPod クラスターの作成

SageMaker HyperPod クラスターを作成する前に:

1. 既存の Amazon EKS クラスターが実行されていることを確認します。新しい Amazon EKS クラスターを作成する手順については、「Amazon EKS ユーザーガイド」の「Amazon EKS クラスターを作成します」を参照してください。

2. 「Helm を使用して Amazon EKS クラスターにパッケージをインストールする」の手順に従って、Helm チャートをインストールします。制限されたインスタンスグループ (RIG) を使用した HyperPod EKS クラスターの作成 を作成する場合は、別の Helm チャートが必要です。

ライフサイクル設定スクリプトを準備し、s3://amzn-s3-demo-bucket/Lifecycle-scripts/base-config/ などの Amazon S3 バケットにアップロードします。

クイックスタートでは、ome Distributed Training GitHub AWSリポジトリon_create.shからサンプルスクリプトをダウンロードし、S3 バケットにアップロードします。HyperPod クラスターのプロビジョニングステージ中に実行する追加のセットアップ手順、一連のセットアップスクリプト、またはコマンドを含めることもできます。

制限付きインスタンスグループを作成する場合、ライフサイクルスクリプトをダウンロードして実行する必要はありません。代わりに、install_rig_dependencies.sh を実行する必要があります。

install_rig_dependencies.sh スクリプトを実行するための前提条件は次のとおりです。

install_rig_dependencies.sh スクリプトは、以下のアクションを実行します。

CreateCluster API リクエストファイルを JSON 形式で準備します。ExecutionRole には、セクション SageMaker HyperPod の IAM ロール から マネージド AmazonSageMakerClusterInstanceRolePolicy で作成した IAM ロールの ARN を指定します。

// create_cluster.json
{
    "ClusterName": "string",
    "InstanceGroups": [{
        "InstanceGroupName": "string",
        "InstanceType": "string",
        "InstanceCount": number,
        "LifeCycleConfig": {
            "SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
            "OnCreate": "on_create.sh"
        },
        "ExecutionRole": "string",
        "ThreadsPerCore": number,
        "OnStartDeepHealthChecks": [
            "InstanceStress", "InstanceConnectivity"
        ]
    }],
    "RestrictedInstanceGroups": [ 
      { 
         "EnvironmentConfig": { 
            "FSxLustreConfig": { 
               "PerUnitStorageThroughput": number,
               "SizeInGiB": number
            }
         },
         "ExecutionRole": "string",
         "InstanceCount": number,
         "InstanceGroupName": "string",
         "InstanceStorageConfigs": [ 
            { ... }
         ],
         "InstanceType": "string",
         "OnStartDeepHealthChecks": [ "string" ],
         "OverrideVpcConfig": { 
            "SecurityGroupIds": [ "string" ],
            "Subnets": [ "string" ]
         },
         "ScheduledUpdateConfig": { 
            "DeploymentConfig": { 
               "AutoRollbackConfiguration": [ 
                  { 
                     "AlarmName": "string"
                  }
               ],
               "RollingUpdatePolicy": { 
                  "MaximumBatchSize": { 
                     "Type": "string",
                     "Value": number
                  },
                  "RollbackMaximumBatchSize": { 
                     "Type": "string",
                     "Value": number
                  }
               },
               "WaitIntervalInSeconds": number
            },
            "ScheduleExpression": "string"
         },
         "ThreadsPerCore": number,
         "TrainingPlanArn": "string"
      }
   ],
    "VpcConfig": {
        "SecurityGroupIds": ["string"],
        "Subnets": ["string"]
    },
    "Tags": [{
        "Key": "string",
        "Value": "string"
    }],
    "Orchestrator": {
        "Eks": {
            "ClusterArn": "string",
            "KubernetesConfig": {
                "Labels": {
                    "nvidia.com/mig.config": "all-3g.40gb"
                }
            }
        }
    },
    "NodeRecovery": "Automatic"
}

EKS クラスターに関連付ける新しい SageMaker HyperPod クラスターを作成するよう設定するときは、次の点に注意してください。

次のように create-cluster コマンドを実行します。

aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

これにより、新しいクラスターの ARN が返されます。