Instalando o operador de treinamento

Certifique-se de que a função de execução do IAM para seu HyperPod cluster tenha a AssumeRoleForPodIdentity permissão eks-auth: ou crie uma nova função do IAM com as seguintes permissões para usar com o operador de treinamento.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
            "Effect": "Allow",
            "Principal": {
                "Service": "pods.eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ]
        }
    ]
}

Anexe a seguinte política do IAM à sua função recém-criada. Certifique-se de especificar o ARN HyperPod do cluster.

Configure o EKS Pod Identity Agent usando o console. Se você quiser usar o AWS CLI, use o comando a seguir.

aws eks create-addon \ 
 --cluster-name my-eks-cluster \
 --addon-name eks-pod-identity-agent \
 --region Região da AWS

Em seguida, crie uma associação de identidade de pod entre seu cluster EKS, sua função do IAM e sua nova função do IAM.

aws eks create-pod-identity-association \
--cluster-name my-eks-cluster \
--role-arn ARN of your role \
--namespace aws-hyperpod \
--service-account hp-training-operator-controller-manager \
--region Região da AWS

Depois de concluir o processo, você pode usar a ListPodIdentityAssociations operação para ver a associação que você criou. A seguir está um exemplo de resposta do que poderia parecer.

aws eks list-pod-identity-associations --cluster-name my-eks-cluster
{
    "associations": [{
        "clusterName": "my-eks-cluster",
        "namespace": "aws-hyperpod",
        "serviceAccount": "hp-training-operator-controller-manager",
        "associationArn": "arn:aws:eks:us-east-2:123456789012:podidentityassociation/my-hyperpod-cluster/a-1a2b3c4d5e6f7g8h9",
        "associationId": "a-1a2b3c4d5e6f7g8h9"
    }]
}

Siga o guia de instalação na documentação oficial do Kueue. Ao chegar à etapa de configuraçãocontroller_manager_config.yaml, adicione a seguinte configuração:

externalFrameworks:
- "HyperPodPytorchJob.v1.sagemaker.amazonaws.com"

Siga o restante das etapas no guia oficial de instalação. Depois de concluir a instalação do Kueue, você pode criar algumas filas de amostra com o comando. kubectl apply -f sample-queues.yaml Use o seguinte arquivo YAML.

apiVersion: kueue.x-k8s.io/v1beta1
kind: ClusterQueue
metadata:
  name: cluster-queue
spec:
  namespaceSelector: {}
  preemption:
    withinClusterQueue: LowerPriority
  resourceGroups:
  - coveredResources:
    - cpu
    - nvidia.com/gpu
    - pods
    flavors:
    - name: default-flavor
      resources:
      - name: cpu
        nominalQuota: 16
      - name: nvidia.com/gpu
        nominalQuota: 16
      - name: pods
        nominalQuota: 16
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: LocalQueue
metadata:
  name: user-queue
  namespace: default
spec:
  clusterQueue: cluster-queue
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: ResourceFlavor
metadata:
  name: default-flavor
---
apiVersion: kueue.x-k8s.io/v1beta1
description: High priority
kind: WorkloadPriorityClass
metadata:
  name: high-priority-class
value: 1000
---
apiVersion: kueue.x-k8s.io/v1beta1
description: Low Priority
kind: WorkloadPriorityClass
metadata:
  name: low-priority-class
value: 500