Amazon EMR 클러스터 정리에 대한 자동 종료 정책 사용 - Amazon EMR
고려 사항자동 종료 기능을 사용하는 권한자동 종료 정책 추가, 업데이트 또는 제거

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 클러스터 정리에 대한 자동 종료 정책 사용

자동 종료 정책을 사용하면 사용하지 않는 클러스터를 모니터링하고 수동으로 종료할 필요 없이 클러스터 정리를 오케스트레이션할 수 있습니다. 클러스터에 자동 종료 정책을 추가할 때 클러스터가 자동으로 종료되기 위해 경과해야 하는는 유휴 시간을 지정합니다.

Amazon EMR은 릴리스 버전에 따라 다른 기준을 사용하여 클러스터를 유휴 상태로 표시합니다. 다음 테이블에는 Amazon EMR이 클러스터 유휴 상태를 결정하는 방법이 요약되어 있습니다.

사용하는 버전... 클러스터를 유휴 상태로 간주하는 경우...
Amazon EMR 버전 5.34.0 이상, 6.4.0 이상

  • 활성 YARN 애플리케이션이 없음

  • HDFS 사용률은 10% 미만임

  • 활성 EMR 노트북 또는 EMR Studio 연결이 없음

  • 사용 중인 클러스터 내 애플리케이션 사용자 인터페이스가 없음

  • 보류 중인 단계가 없음
Amazon EMR 버전 5.30.0~5.33.0 및 6.1.0~6.3.0

  • 활성 YARN 애플리케이션이 없음

  • 클러스터에 활성 Spark 작업이 없음

참고

Amazon EMR은 클러스터를 유휴 상태로 표시하고 활성 Python3 커널이 있더라도 클러스터를 자동으로 종료할 수 있습니다. Python3 커널을 실행해도 클러스터에서 Spark 작업을 제출하지 않기 때문입니다. Python3 커널에서 자동 종료를 사용하려면 Amazon EMR 버전 6.4.0 이상을 사용하는 것이 좋습니다.
참고

Amazon EMR 버전 6.4.0 이상에서는 프라이머리 노드의 활동을 감지하기 위한 클러스터 내 파일(/emr/metricscollector/isbusy)을 지원합니다. 클러스터를 사용하여 쉘 스크립트 또는 YARN 이외의 애플리케이션을 실행하는 경우 주기적으로 터치하거나 isbusy를 업데이트하여 클러스터가 유휴 상태가 아님을 Amazon EMR에 알릴 수 있습니다.

클러스터를 생성할 때 자동 종료 정책을 연결하거나 기존 클러스터에 정책을 추가할 수 있습니다. 자동 종료를 변경하거나 비활성화하기 위해 정책을 업데이트하거나 제거할 수 있습니다.

고려 사항

자동 종료 정책을 사용하기 전에 다음 기능과 제한 사항을 고려합니다.

  • 다음에서 AWS 리전 Amazon EMR 자동 종료는 Amazon EMR 6.14.0 이상에서 사용할 수 있습니다.

    • 유럽(스페인)(eu-south-2)

  • 다음에서 AWS 리전 Amazon EMR 자동 종료는 Amazon EMR 5.30.0 및 6.1.0 이상에서 사용할 수 있습니다.

    • 미국 동부(버지니아 북부)(us-east-1)

    • 미국 동부(오하이오)(us-east-2)

    • 미국 서부(오리건)(us-west-2)

    • 미국 서부(캘리포니아 북부)(us-west-1)

    • 아프리카(케이프타운)(af-south-1)

    • 아시아 태평양(홍콩)(ap-east-1)

    • 아시아 태평양(뭄바이)(ap-south-1)

    • 아시아 태평양(하이데라바드)(ap-south-2)

    • 아시아 태평양(서울)(ap-northeast-2)

    • 아시아 태평양(오사카) (ap-northeast-3)

    • 아시아 태평양(싱가포르)(ap-southeast-1)

    • 아시아 태평양(시드니)(ap-southeast-2)

    • 아시아 태평양(자카르타) (ap-southeast-3)

    • 아시아 태평양(도쿄)(ap-northeast-1)

    • 캐나다(중부)(ca-central-1)

    • 남아메리카(상파울루)(sa-east-1)

    • 유럽(프랑크푸르트)(eu-central-1)

    • 유럽(취리히)(eu-central-2)

    • 유럽(아일랜드)(eu-west-1)

    • 유럽(런던) (eu-west-2)

    • 유럽(밀라노) (eu-south-1)

    • 유럽(파리) (eu-west-3)

    • 유럽(스톡홀름) (eu-north-1)

    • 이스라엘(텔아비브) (il-central-1)

    • 중동(UAE)(me-central-1)

    • 중국(베이징) (cn-north-1)

    • 중국(닝샤) (cn-northwest-1)

    • AWS GovCloud(미국 동부)(us-gov-east-1)

    • AWS GovCloud(미국 서부)(us-gov-west-1)

  • 크기를 지정하지 않은 경우 유휴 제한 시간은 기본적으로 60분(1시간)입니다. 최소 유휴 제한 시간은 1분으로, 최대 유휴 제한 시간은 7일로 지정할 수 있습니다.

  • Amazon EMR 버전 6.4.0 이상에서는 Amazon EMR 콘솔로 새 클러스터를 생성할 때 기본적으로 자동 종료가 활성화됩니다.

  • Amazon EMR은 클러스터에 대해 자동 종료를 활성화할 때 고해상도 Amazon CloudWatch 지표를 게시합니다. 이러한 지표를 사용하여 클러스터 활동과 유휴 상태를 추적할 수 있습니다. 자세한 내용은 클러스터 용량 지표 단원을 참조하십시오.

  • Presto, Trino 또는 HBase와 같은 YARN 기반이 아닌 애플리케이션을 사용하는 경우 자동 종료 기능은 지원되지 않습니다.

  • 자동 종료 기능을 사용하려면 metrics-collector 프로세스가 API 게이트웨이에서 자동 종료 기능의 퍼블릭 API 엔드포인트에 연결할 수 있어야 합니다. 에서 프라이빗 DNS 이름을 사용하는 경우 Amazon Virtual Private Cloud자동 종료가 제대로 작동하지 않습니다. 자동 종료 기능이 제대로 작동하려면 다음 작업 중 하나를 수행하는 것이 좋습니다.

  • (EMR 5.30.0 이상) 기본 보안 그룹의 기본 모두 허용 아웃바운드 규칙(0.0.0.0/)을 제거하는 경우 포트 9443에서 서비스에 액세스할 수 있도록 보안 그룹에 아웃바운드 TCP 연결을 허용하는 규칙을 추가해야 합니다. 또한 서비스 액세스를 위한 보안 그룹은 기본 보안 그룹의 포트 9443을 통한 인바운드 TCP 트래픽을 허용해야 합니다. 보안 그룹 구성에 대한 자세한 내용은 기본 인스턴스(프라이빗 서브넷)에 대한 Amazon EMR 관리형 보안 그룹을 참조하세요.

자동 종료 기능을 사용하는 권한

Amazon EMR에 대한 자동 종료 정책을 적용 및 관리하려면 먼저 다음 예제 IAM 권한 정책에 나열된 권한을 EMR 클러스터를 관리하는 IAM 리소스에 연결해야 합니다.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

자동 종료 정책 추가, 업데이트 또는 제거

이 섹션에는 Amazon EMR 클러스터에 자동 종료 정책을 연결, 업데이트 또는 제거하는 데 도움이 되는 지침이 포함되어 있습니다. 자동 종료 정책을 작업하기 전에 필요한 IAM 권한이 있는지 확인합니다. 자동 종료 기능을 사용하는 권한을(를) 참조하세요.

Console
콘솔을 사용하여 클러스터를 생성할 때 자동 종료 정책을 연결하는 방법

  1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr Amazon EMR 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 클러스터 생성을 선택합니다.

  3. 클러스터 종료에서 유휴 시간 후 클러스터 종료를 선택합니다.

  4. 클러스터가 자동 종료되기 전에 경과할 수 있는 유휴 시간 및 분 수를 지정합니다. 기본 유휴 시간은 1시간입니다.

  5. 클러스터에 적용할 다른 옵션을 선택합니다.

  6. 클러스터를 시작하려면 클러스터 생성을 선택합니다.

콘솔을 사용하여 실행 중인 클러스터에서 자동 종료 정책을 연결, 업데이트 또는 제거하는 방법

  1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr Amazon EMR 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 업데이트할 클러스터를 선택합니다.

  3. 클러스터 세부 정보 페이지의 속성 탭에서 클러스터 종료를 찾아 편집을 선택합니다.

  4. 기능을 켜거나 끄려면 자동 종료 활성화를 선택하거나 선택 취소합니다. 자동 종료 기능을 켜는 경우 클러스터가 자동 종료되기 전에 경과할 수 있는 유휴 시간 및 분 수를 지정합니다. 그런 다음 변경 사항 저장을 선택하여 확인합니다.

AWS CLI

시작하기 전에

자동 종료 정책을 적용하기 전에 AWS CLI의 최신 버전으로 업데이트하는 것이 좋습니다. 자세한 내용은 AWS CLI설치, 업데이트, 제거를 참조하세요.

AWS CLI를 사용하여 자동 종료 정책을 첨부하거나 업데이트하는 방법

  • aws emr put-auto-termination-policy 명령을 사용하여 클러스터에서 자동 종료 정책을 연결하거나 업데이트할 수 있습니다.

    다음 예제에서는 IdleTimeout을 3,600초로 지정합니다. IdleTimeout을 지정하지 않는 경우 기본값은 1시간입니다.

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    참고

    가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

    aws emr create-cluster 명령을 사용할 때 --auto-termination-policy의 값을 지정할 수도 있습니다. 에서 Amazon EMR 명령을 사용하는 방법에 대한 자세한 AWS CLI내용은 AWS CLI 명령 참조를 참조하세요.

를 사용하여 자동 종료 정책을 제거하려면 AWS CLI

  • aws emr remove-auto-termination-policy 명령을 사용하여 클러스터에서 자동 종료 정책을 제거합니다. 에서 Amazon EMR 명령을 사용하는 방법에 대한 자세한 AWS CLI내용은 AWS CLI 명령 참조를 참조하세요.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>