トレーニングオペレーターのインストール

HyperPod クラスターの IAM 実行ロールに eks-auth:AssumeRoleForPodIdentity アクセス許可があることを確認するか、トレーニングオペレーターで使用する以下のアクセス許可を持つ新しい IAM ロールを作成します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
            "Effect": "Allow",
            "Principal": {
                "Service": "pods.eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ]
        }
    ]
}

新しく作成したロールに次の IAM ポリシーをアタッチします。HyperPod クラスター ARN を必ず指定してください。

コンソールを使用して EKS Pod Identity Agent を設定します。を使用する場合は AWS CLI、次のコマンドを使用します。

aws eks create-addon \ 
 --cluster-name my-eks-cluster \
 --addon-name eks-pod-identity-agent \
 --region AWS リージョン

次に、EKS クラスター、IAM ロール、新しい IAM ロールの間にポッド ID の関連付けを作成します。

aws eks create-pod-identity-association \
--cluster-name my-eks-cluster \
--role-arn ARN of your role \
--namespace aws-hyperpod \
--service-account hp-training-operator-controller-manager \
--region AWS リージョン

プロセスが完了したら、ListPodIdentityAssociations オペレーションを使用して、作成した関連付けを表示できます。以下は、どのように表示されるかを示すレスポンスの例です。

aws eks list-pod-identity-associations --cluster-name my-eks-cluster
{
    "associations": [{
        "clusterName": "my-eks-cluster",
        "namespace": "aws-hyperpod",
        "serviceAccount": "hp-training-operator-controller-manager",
        "associationArn": "arn:aws:eks:us-east-2:123456789012:podidentityassociation/my-hyperpod-cluster/a-1a2b3c4d5e6f7g8h9",
        "associationId": "a-1a2b3c4d5e6f7g8h9"
    }]
}

Kueue の公式ドキュメントのインストールガイドに従ってください。を設定するステップに達したらcontroller_manager_config.yaml、次の設定を追加します。

externalFrameworks:
- "HyperPodPytorchJob.v1.sagemaker.amazonaws.com"

公式のインストールガイドの残りの手順に従ってください。Kueue のインストールが完了したら、 kubectl apply -f sample-queues.yaml コマンドを使用していくつかのサンプルキューを作成できます。次の YAML ファイルを使用します。

apiVersion: kueue.x-k8s.io/v1beta1
kind: ClusterQueue
metadata:
  name: cluster-queue
spec:
  namespaceSelector: {}
  preemption:
    withinClusterQueue: LowerPriority
  resourceGroups:
  - coveredResources:
    - cpu
    - nvidia.com/gpu
    - pods
    flavors:
    - name: default-flavor
      resources:
      - name: cpu
        nominalQuota: 16
      - name: nvidia.com/gpu
        nominalQuota: 16
      - name: pods
        nominalQuota: 16
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: LocalQueue
metadata:
  name: user-queue
  namespace: default
spec:
  clusterQueue: cluster-queue
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: ResourceFlavor
metadata:
  name: default-flavor
---
apiVersion: kueue.x-k8s.io/v1beta1
description: High priority
kind: WorkloadPriorityClass
metadata:
  name: high-priority-class
value: 1000
---
apiVersion: kueue.x-k8s.io/v1beta1
description: Low Priority
kind: WorkloadPriorityClass
metadata:
  name: low-priority-class
value: 500