Amazon EKS 기반 AWS Batch 시작하기

Amazon EKS 기반 AWS Batch는 기존 Amazon EKS 클러스터로 배치 워크로드를 스케줄링하고 규모를 조정하는 관리형 서비스입니다. AWS Batch는 사용자를 대신하여 Amazon EKS 클러스터를 생성, 관리하거나 수명 주기 작업을 수행하지 않습니다. AWS Batch 오케스트레이션은 AWS Batch가 관리하는 노드를 스케일 업 및 스케일 다운하고 이러한 노드에서 포드를 실행합니다.

AWS Batch는 Amazon EKS 클러스터 내의 AWS Batch 컴퓨팅 환경과 관련이 없는 노드, Auto Scaling 노드 그룹 또는 포드 수명 주기는 건드리지 않습니다. AWS Batch가 효과적으로 작동하려면 서비스 연결 역할에 기존 Amazon EKS 클러스터의 Kubernetes 역할 기반 액세스 제어(RBAC) 권한이 있어야 합니다. 자세한 내용은 Kubernetes 설명서의 RBAC 승인 사용을 참조하세요.

AWS Batch에는 포드의 범위를 AWS Batch 작업 범위로 지정할 수 있는 Kubernetes 네임스페이스가 필요합니다. AWS Batch 포드를 다른 클러스터 워크로드와 분리하려면 전용 네임스페이스를 사용하는 것이 좋습니다.

AWS Batch가 RBAC 액세스 권한을 부여하고 네임스페이스가 설정된 후에는 CreateComputeEnvironment API 작업을 사용하여 해당 Amazon EKS 클러스터를 AWS Batch 컴퓨팅 환경에 연결할 수 있습니다. 작업 대기열을 이 새로운 Amazon EKS 컴퓨팅 환경에 연결할 수 있습니다. AWS Batch 작업은 SubmitJob API 작업을 사용하여 EKS 작업 정의를 기반으로 작업 대기열에 제출됩니다. 그런 다음 AWS Batch는 AWS Batch 관리형 노드를 시작하고 작업 대기열의 작업을 Kubernetes 포드 형태로 AWS Batch 컴퓨팅 환경과 연결된 Amazon EKS 클러스터에 배치합니다.

다음 섹션에서는 Amazon EKS 기반 AWS Batch를 설정하는 방법을 다룹니다.

개요

이 자습서는 AWS CLI, kubectl 및 eksctl를 사용하여 Amazon EKS로 AWS Batch를 설정하는 방법을 보여줍니다.

사전 조건

이 자습서를 시작하기 전에 먼저 AWS Batch 및 Amazon EKS 리소스를 생성하고 관리할 때 필요한 다음 도구 및 리소스를 설치하고 구성해야 합니다.

1단계: AWS Batch를 위한 Amazon EKS 클러스터 생성

사전 조건을 설치한 후에는 eksctl을 사용하여 클러스터를 생성해야 합니다. 클러스터 생성에는 10~15분이 소요될 수 있습니다.

$  eksctl create cluster --name my-cluster-name --region region-code

앞의 명령에서 다음 항목을 교체합니다.

클러스터 이름과 리전은 이 자습서의 뒷부분에서 필요합니다.

2단계: AWS Batch를 위한 Amazon EKS 클러스터 준비

필요한 단계는 다음과 같습니다.

3단계: Amazon EKS 컴퓨팅 환경 생성

AWS Batch 컴퓨팅 환경은 배치 워크로드 요구 사항을 충족하는 컴퓨팅 리소스 파라미터를 정의합니다. 관리형 컴퓨팅 환경에서는 Amazon EKS 클러스터 내 컴퓨팅 리소스(Kubernetes 노드)의 용량과 인스턴스 유형을 관리하는 데 AWS Batch가 도움이 됩니다. 이는 컴퓨팅 환경을 생성할 때 사용자가 정의한 컴퓨팅 리소스 사양을 기반으로 합니다. 사용자는 EC2 온디맨드 인스턴스 또는 EC2 스팟 인스턴스를 선택할 수 있습니다.

이제 AWSServiceRoleForBatch서비스 연결 역할이 Amazon EKS 클러스터에 액세스할 수 있으므로 AWS Batch 리소스를 생성할 수 있습니다. 먼저 Amazon EKS 클러스터를 가리키는 컴퓨팅 환경을 생성합니다.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

4단계: 작업 대기열 생성 및 컴퓨팅 환경 연결

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

이 새 작업 대기열에 제출된 작업은 컴퓨팅 환경과 연결된 Amazon EKS 클러스터에 조인된 AWS Batch 관리형 노드에서 포드로 실행됩니다.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

5단계: 작업 정의 생성

다음 작업 정의는 포드가 60초 동안 절전 모드로 전환하도록 지시합니다.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

6단계: 작업 제출

새 작업을 제출하려면 다음 AWS CLI 명령을 실행합니다.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

작업의 상태를 확인하려면:

$ aws batch describe-jobs --job <jobId-from-submit-response>

7단계: 작업 출력 보기

작업의 출력을 보려면 다음을 수행합니다.

8단계: (선택 사항) 재정의를 통한 작업 제출

이 작업은 컨테이너에 전달되는 명령을 재정의합니다. AWS Batch는 작업이 완료된 후 포드를 적극적으로 정리하여 Kubernetes에 대한 부하를 줄입니다. 작업의 세부 정보를 검사하려면 로깅을 구성해야 합니다. 자세한 내용은 CloudWatch Logs를 사용하여 Amazon EKS 작업에서 AWS Batch를 모니터링할 수 있습니다. 섹션을 참조하세요.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

작업의 출력을 보려면 다음을 수행합니다.

9단계: 자습서 리소스 정리

Amazon EC2 인스턴스가 활성화된 동안 요금이 부과됩니다. 요금이 발생하지 않도록 해당 인스턴스를 종료할 수 있습니다.

생성한 리소스를 삭제하려면 다음과 같이 합니다.

추가 리소스

자습서를 완료한 후 다음과 같은 주제를 살펴보세요.