기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

가상 클러스터 관리

가상 클러스터는 Amazon EMR이 등록된 Kubernetes 네임스페이스입니다. 가상 클러스터를 생성, 설명, 나열 및 삭제할 수 있습니다. 가상 클러스터는 시스템의 추가 리소스를 소비하지 않습니다. 단일 가상 클러스터는 단일 Kubernetes 네임스페이스에 매핑됩니다. 이 관계를 감안하면 Kubernetes 네임스페이스를 모형화하는 것과 동일한 방식으로 가상 클러스터를 모형화하여 요구 사항을 충족할 수 있습니다. Kubernetes Concepts Overview 설명서에서 가능한 사용 사례를 참조하세요.

Amazon EMR을 Amazon EKS 클러스터의 Kubernetes 네임스페이스에 등록하려면 EKS 클러스터의 이름과 워크로드를 실행하기 위해 설정된 네임스페이스가 필요합니다. Amazon EMR에 등록된 이러한 클러스터는 물리적 컴퓨팅 또는 스토리지를 관리하지 않고 워크로드가 예약된 Kubernetes 네임스페이스를 가리키므로 가상 클러스터라고 합니다.

가상 클러스터 생성

다음 명령을 실행하여 Amazon EMR을 EKS 클러스터의 네임스페이스에 등록하여 가상 클러스터를 생성합니다. virtual_cluster_name을 사용자가 제공한 가상 클러스터 이름으로 바꿉니다. eks_cluster-name을 EKS 클러스터 이름으로 바꿉니다. namespace_name을 네임스페이스(Amazon EMR을 등록하려는 네임스페이스)로 바꿉니다.

aws emr-containers create-virtual-cluster \
--name virtual_cluster_name \
--container-provider '{
    "id": "eks_cluster_name",
    "type": "EKS",
    "info": {
        "eksInfo": {
            "namespace": "namespace_name"
        }
    }
}' 

또는 다음 예제에서 볼 수 있듯이 가상 클러스터에 필요한 파라미터가 포함된 JSON 파일을 생성할 수 있습니다.

{
    "name": "virtual_cluster_name", 
    "containerProvider": {
        "type": "EKS", 
        "id": "eks_cluster_name", 
        "info": {
            "eksInfo": {
                "namespace": "namespace_name"
            }
        }
    }
}

그런 다음, JSON 파일 경로와 함께 다음 create-virtual-cluster 명령을 실행합니다.

aws emr-containers create-virtual-cluster \
--cli-input-json file://./create-virtual-cluster-request.json
    

가상 클러스터 나열

가상 클러스터 상태를 보려면 다음 명령을 실행합니다.

aws emr-containers list-virtual-clusters

가상 클러스터 설명

다음 명령을 실행하여 네임스페이스, 상태, 등록 날짜 등 가상 클러스터에 대한 자세한 내용을 확인합니다. 123456을 가상 클러스터 ID로 바꿉니다.

aws emr-containers describe-virtual-cluster --id 123456

가상 클러스터 삭제

다음 명령을 실행하여 가상 클러스터를 삭제합니다. 123456을 가상 클러스터 ID로 바꿉니다.

aws emr-containers delete-virtual-cluster --id 123456

가상 클러스터 상태

다음 테이블에서는 가상 클러스터의 네 가지 가능한 상태를 설명합니다.

가상 클러스터에 대한 동시 작업 제한

Amazon EMR on EKS 가상 클러스터에서 동시 작업 제한을 구성하여 동시에 실행되는 작업 실행 수와 대기열에서 대기할 수 있는 작업 수를 제어할 수 있습니다. 동시성 제한(maxConcurrentJobRuns)과 대기열 깊이(maxInQueueJobRuns)를 독립적으로 설정하므로 실행 중인 작업 실행, 대기 중인 작업 실행 또는 둘 다에 제한을 둘 수 있습니다. 이러한 제한을 설정하면 StartJobRun API는 가상 클러스터 수준에서 역압을 제공합니다. 작업은 즉시 시작하는 대신 SUBMITTED 또는 PENDING 상태의 대기열에서 실행 한도 대기를 초과하여 실행되며 대기열이 가득 차면가 추가 제출을 StartJobRun 거부합니다. 예를 들어 동시 작업 실행 500개와 대기 중인 작업 실행 100개를 허용하도록 가상 클러스터를 설정하면 101번째 대기 중인 제출이 거부되고 동일한 EKS 클러스터의 다른 가상 클러스터에서 해당 워크로드를 재조정하거나 용량을 추가할 수 있습니다. 동시성 제한을 설정하지 않았고 대기열 깊이가 계속 증가하여 작업 실행이 시작되기 전에 더 오래 SUBMITTED 또는 PENDING 상태로 유지되면 기본 EKS 클러스터가 컴퓨팅 리소스에서 부족하고 새 포드를 충분히 빠르게 예약할 수 없다는 신호를 보낼 수 있습니다. 이 경우 워크로드를 다른 클러스터로 라우팅하거나 용량을 추가합니다.

동시 작업 제한은 Kubernetes 스케줄러와 Kubernetes 웹 사이트의 ResourceQuota 기능 앞에 제어 계층을 추가합니다. 포드가 생성되기 StartJobRun전에에서 적용되므로 초과 로드는 API에서 대기열에 추가되거나 거부되어 작업에 도달하기 전에 기본 클러스터를 보호합니다. Kubernetes는 여전히 실제 CPU 및 메모리 상한을 적용합니다.

동시 작업 제한의 주요 이점

동시 작업 제한 시작하기

가상 클러스터의 schedulerConfiguration 필드를 사용하여 동시 작업 제한을 구성합니다. 이 필드에는 다음 두 가지 파라미터가 허용됩니다.

AWS CLI

가상 클러스터를 생성할 때 제한을 설정하려면 요청에 schedulerConfiguration를 지정합니다.

aws emr-containers create-virtual-cluster \
  --name my-virtual-cluster \
  --container-provider '{ ... }' \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

기존 가상 클러스터에 대한 제한을 변경하려면 update-virtual-cluster 명령을 사용합니다.

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

가상 클러스터에서 제한을 제거하려면 빈를 전달합니다schedulerConfiguration. 이렇게 하면 구성이 지워지므로 제한이 적용되지 않고 가상 클러스터가 기본(무제한) 동작으로 돌아갑니다. 대신 요청schedulerConfiguration에서를 생략하면 기존 제한은 변경되지 않습니다. 이를 지우려면 빈 객체를 전달해야 합니다.

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{}'

현재 제한 및 라이브 작업 수를 보려면 describe-virtual-cluster 명령을 사용합니다. 응답에는와 현재 schedulerConfiguration 및 activeJobRunCount가 있는 SchedulerStatus 객체가 모두 포함됩니다inQueueJobRunCount.

maxConcurrentJobRuns 및 maxInQueueJobRuns에 대한 값 선택

올바른 제한은 Amazon EKS 클러스터가 한 번에 실행할 수 있는 작업량, 제출이 급증하는 정도, 가상 클러스터가 가득 차면 가상 클러스터가 어떻게 작동하는지 등 세 가지 사항에 따라 달라집니다. 다음 지침에 따라 시작점을 선택한 다음 라이브 카운터에서 구체화합니다.

maxConcurrentJobRuns 설정(실행 슬롯)

maxConcurrentJobRuns는 작업 세분화, 개수 기반 가드레일입니다. 여기서 대략적인 추정치는 기본 Amazon EKS 클러스터가 로드로 인해 저하되는 것을 방지하고 가용성을 개선할 수 있습니다.

maxInQueueJobRuns 설정(대기열 깊이)

maxInQueueJobRuns는 가상 클러스터가 제출 거부를 시작하기 전에 수락하는 백로그의 크기를 제어합니다. 버스트 흡수 버퍼입니다. 다음 요소를 고려하세요.

동시 작업 제한 고려 사항