태스크 거버넌스 설정

이 섹션에는 Amazon SageMaker HyperPod 태스크 거버넌스 EKS 추가 기능을 설정하는 방법에 대한 정보가 포함되어 있습니다. 여기에는 작업 우선순위 지정, 팀의 컴퓨팅 할당, 유휴 컴퓨팅 공유 방법, 팀을 위한 작업 선점 등을 설정할 수 있는 권한 부여가 포함됩니다.

설정에 문제가 있는 경우 문제 해결에서 알려진 문제 해결 솔루션을 참조하세요.

Kueue 설정

HyperPod 태스크 거버넌스 EKS 추가 기능은 HyperPod EKS 클러스터에 Kueue를 설치합니다. Kueue는 할당량과 작업에서 할당량을 사용하는 방식을 관리하는 Kubernetes 네이티브 시스템입니다.

HyperPod 태스크 거버넌스는 Kubernetes 네이티브 작업 대기열, 예약 및 할당량 관리를 위해 Kueue를 활용하며 HyperPod 태스크 거버넌스 EKS 추가 기능과 함께 설치됩니다. 설치되어 있을 경우 HyperPod는 KueueManagerConfig, ClusterQueues, LocalQueues, WorkloadPriorityClasses, ResourceFlavors, ValidatingAdmissionPolicies 등의 SageMaker AI 관리형 Kubernetes 리소스를 생성하고 수정합니다. Kubernetes 관리자는 이러한 리소스의 상태를 유연하게 수정할 수 있지만 서비스에서 SageMaker AI 관리형 리소스에 대한 변경 사항을 업데이트하고 덮어쓸 수 있습니다.

다음 정보는 Kueue를 설정하기 위해 HyperPod 태스크 거버넌스 추가 기능에서 사용하는 구성 설정을 간략하게 설명합니다.

  apiVersion: config.kueue.x-k8s.io/v1beta1
    kind: Configuration
    health:
      healthProbeBindAddress: :8081
    metrics:
      bindAddress: :8443
      enableClusterQueueResources: true
    webhook:
      port: 9443
    manageJobsWithoutQueueName: false
    leaderElection:
      leaderElect: true
      resourceName: c1f6bfd2.kueue.x-k8s.io
    controller:
      groupKindConcurrency:
        Job.batch: 5
        Pod: 5
        Workload.kueue.x-k8s.io: 5
        LocalQueue.kueue.x-k8s.io: 1
        ClusterQueue.kueue.x-k8s.io: 1
        ResourceFlavor.kueue.x-k8s.io: 1
    clientConnection:
      qps: 50
      burst: 100
    integrations:
      frameworks:
      - "batch/job"
      - "kubeflow.org/mpijob"
      - "ray.io/rayjob"
      - "ray.io/raycluster"
      - "jobset.x-k8s.io/jobset"
      - "kubeflow.org/mxjob"
      - "kubeflow.org/paddlejob"
      - "kubeflow.org/pytorchjob"
      - "kubeflow.org/tfjob"
      - "kubeflow.org/xgboostjob"
      - "pod"
      - "deployment"
      - "statefulset"
      - "leaderworkerset.x-k8s.io/leaderworkerset"
      podOptions:
        namespaceSelector:
          matchExpressions:
            - key: kubernetes.io/metadata.name
              operator: NotIn
              values: [ kube-system, kueue-system ]
    fairSharing:
      enable: true
      preemptionStrategies: [LessThanOrEqualToFinalShare, LessThanInitialShare]
    resources:
      excludeResourcePrefixes: []

각 구성 항목에 대한 자세한 내용은 Kueue 설명서의 Configuration을 참조하세요.

HyperPod 태스크 거버넌스 사전 조건

HyperPod 태스크 거버넌스 설정

다음은 HyperPod 태스크 거버넌스를 설정하는 방법에 대한 정보를 제공합니다.

Setup using the SageMaker AI console

다음은 SageMaker HyperPod 콘솔을 사용하여 HyperPod 태스크 거버넌스를 설정하는 방법에 대한 정보를 제공합니다.

Amazon CloudWatch Observability EKS를 관리하고 HyperPod Amazon CloudWatch Observability EKS 추가 기능 설정 작업에서 SageMaker AI 콘솔을 통해 HyperPod 클러스터 대시보드를 볼 수 있는 권한을 이미 부여한 경우 다음 모든 권한이 이미 연결되어 있습니다. 아직 설정하지 않은 경우 아래 샘플 정책을 사용하여 HyperPod 태스크 거버넌스 추가 기능을 관리하고 SageMaker AI 콘솔을 통해 HyperPod 클러스터 대시보드를 볼 수 있는 권한을 부여하세요.

JSON

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "eks:ListAddons",
                "eks:CreateAddon",
                "eks:UpdateAddon",
                "eks:DescribeAddon",
                "eks:DescribeAddonVersions",
                "sagemaker:DescribeCluster",
                "sagemaker:DescribeClusterNode",
                "sagemaker:ListClusterNodes",
                "sagemaker:ListClusters",
                "eks:DescribeCluster",
                "eks:AccessKubernetesApi"
            ],
            "Resource": "*"
        }
    ]
}

SageMaker HyperPod 콘솔의 대시보드 탭으로 이동하여 Amazon SageMaker HyperPod 태스크 거버넌스 추가 기능을 설치합니다.

Setup using the Amazon EKS AWS CLI

AWS CLI를 사용하여 예시 create-addon EKS AWS CLI 명령을 사용하여 HyperPod 태스크 거버넌스 Amazon EKS API 및 콘솔 UI를 설정합니다.

aws eks create-addon --region region --cluster-name cluster-name --addon-name amazon-sagemaker-hyperpod-taskgovernance

설치에 성공하면 HyperPod SageMaker AI 콘솔에서 정책 탭을 볼 수 있습니다. 다음 예시 describe-addon EKS AWS CLI 명령을 사용하여 상태를 확인할 수도 있습니다.

aws eks describe-addon --region region --cluster-name cluster-name --addon-name amazon-sagemaker-hyperpod-taskgovernance