Installation des Schulungsoperators

Stellen Sie sicher, dass die IAM-Ausführungsrolle für Ihren HyperPod Cluster über die AssumeRoleForPodIdentity Berechtigung eks-auth: verfügt, oder erstellen Sie eine neue IAM-Rolle mit den folgenden Berechtigungen, die Sie mit dem Schulungsoperator verwenden können.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
            "Effect": "Allow",
            "Principal": {
                "Service": "pods.eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ]
        }
    ]
}

Fügen Sie Ihrer neu erstellten Rolle die folgende IAM-Richtlinie hinzu. Stellen Sie sicher, dass Sie Ihren HyperPod Cluster-ARN angeben.

Richten Sie den EKS Pod Identity Agent mithilfe der Konsole ein. Wenn Sie den verwenden möchten AWS CLI, verwenden Sie den folgenden Befehl.

aws eks create-addon \ 
 --cluster-name my-eks-cluster \
 --addon-name eks-pod-identity-agent \
 --region AWS-Region

Erstellen Sie dann eine Pod-Identitätszuordnung zwischen Ihrem EKS-Cluster, Ihrer IAM-Rolle und Ihrer neuen IAM-Rolle.

aws eks create-pod-identity-association \
--cluster-name my-eks-cluster \
--role-arn ARN of your role \
--namespace aws-hyperpod \
--service-account hp-training-operator-controller-manager \
--region AWS-Region

Nachdem Sie den Vorgang abgeschlossen haben, können Sie den ListPodIdentityAssociations Vorgang verwenden, um die von Ihnen erstellte Zuordnung zu sehen. Im Folgenden finden Sie ein Beispiel für eine Antwort, wie sie aussehen könnte.

aws eks list-pod-identity-associations --cluster-name my-eks-cluster
{
    "associations": [{
        "clusterName": "my-eks-cluster",
        "namespace": "aws-hyperpod",
        "serviceAccount": "hp-training-operator-controller-manager",
        "associationArn": "arn:aws:eks:us-east-2:123456789012:podidentityassociation/my-hyperpod-cluster/a-1a2b3c4d5e6f7g8h9",
        "associationId": "a-1a2b3c4d5e6f7g8h9"
    }]
}

Folgen Sie der Installationsanleitung in der offiziellen Kueue-Dokumentation. Wenn Sie den Schritt der Konfiguration erreicht habencontroller_manager_config.yaml, fügen Sie die folgende Konfiguration hinzu:

externalFrameworks:
- "HyperPodPytorchJob.v1.sagemaker.amazonaws.com"

Folgen Sie den restlichen Schritten in der offiziellen Installationsanleitung. Nachdem Sie die Installation von Kueue abgeschlossen haben, können Sie mit dem Befehl einige Beispielwarteschlangen erstellen. kubectl apply -f sample-queues.yaml Verwenden Sie die folgende YAML-Datei.

apiVersion: kueue.x-k8s.io/v1beta1
kind: ClusterQueue
metadata:
  name: cluster-queue
spec:
  namespaceSelector: {}
  preemption:
    withinClusterQueue: LowerPriority
  resourceGroups:
  - coveredResources:
    - cpu
    - nvidia.com/gpu
    - pods
    flavors:
    - name: default-flavor
      resources:
      - name: cpu
        nominalQuota: 16
      - name: nvidia.com/gpu
        nominalQuota: 16
      - name: pods
        nominalQuota: 16
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: LocalQueue
metadata:
  name: user-queue
  namespace: default
spec:
  clusterQueue: cluster-queue
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: ResourceFlavor
metadata:
  name: default-flavor
---
apiVersion: kueue.x-k8s.io/v1beta1
description: High priority
kind: WorkloadPriorityClass
metadata:
  name: high-priority-class
value: 1000
---
apiVersion: kueue.x-k8s.io/v1beta1
description: Low Priority
kind: WorkloadPriorityClass
metadata:
  name: low-priority-class
value: 500