2단계: 환경 점검
Amazon EMR은 웹 서비스 및 오픈 소스 소프트웨어로 이루어진 에코시스템에서 일부로 포함되어 작동합니다. 이러한 종속성에 영향을 미치는 요인이 Amazon EMR의 성능에도 영향을 줄 수 있습니다.
서비스 중단 확인
Amazon EMR은 내부적으로 여러 Amazon Web Services를 사용합니다. Amazon EC2에서 가상 서버를 실행하고, Amazon S3에 데이터와 스크립트를 저장하며, 지표를 CloudWatch에 보고합니다. 이러한 서비스를 중단시키는 이벤트는 드물지만, 발생할 경우 Amazon EMR에서 문제가 발생할 수 있습니다.
더 진행하기 전에 서비스 상태 대시보드
사용 한도 확인
대용량 클러스터를 시작하거나 여러 클러스터를 동시에 시작했거나 다른 사용자와 AWS 계정을 공유하는 IAM 사용자라면 AWS 서비스 한도를 초과하기 때문에 클러스터에 장애가 발생할 수 있습니다.
Amazon EC2는 단일 AWS 리전에서 실행할 수 있는 가상 서버 인스턴스 수를 온디맨드 또는 예약 인스턴스 20개로 제한합니다. 20개가 넘는 노드로 클러스터를 시작하거나, AWS 계정에서 활성 상태인 총 EC2 인스턴스 수가 20개를 초과하게 되는 클러스터를 시작하면 클러스터는 요청된 모든 EC2 인스턴스를 시작할 수 없으며, 장애가 발생할 수 있습니다. 이 경우 Amazon EMR에서 EC2 QUOTA EXCEEDED 오류를 반환합니다. AWS에서 Amazon EC2 인스턴스 한도 증가 요청
또 한 가지 사용량 한도를 초과하게 되는 상황으로는, 클러스터가 종료된 후 모든 리소스를 해제하기까지 시간이 지연되는 경우를 들 수 있습니다. 구성에 따라 클러스터를 완전히 종료하고 할당된 리소스를 해제하는 데 5-20분이 걸릴 수도 있습니다. 클러스터를 시작하려 할 때 EC2 QUOTA EXCEEDED 오류가 발생하는 경우 최근에 종료된 클러스터의 리소스가 아직 해제되지 않았기 때문일 수 있습니다. 이 경우 Amazon EC2 할당량 증가를 요청
Amazon S3에서는 한 계정에서 생성하는 버킷 수를 100개로 제한합니다. 클러스터가 이 한도를 초과하는 새 버킷을 생성하면 버킷 생성에 실패하며, 클러스터에 장애가 발생할 수 있습니다.
릴리스 버전 확인
클러스터를 시작하는 데 사용된 릴리스 레이블과 최신 Amazon EMR 릴리스를 비교합니다. 각 Amazon EMR 릴리스에는 새 애플리케이션, 기능, 패치 및 버그 수정 사항 등 향상 기능이 포함되어 있습니다. 최신 릴리스 버전에서는 클러스터에 영향을 미치는 문제가 이미 수정되었을 수도 있습니다. 가능하면 최신 버전을 사용하여 클러스터를 다시 실행합니다.
Amazon VPC 서브넷 구성 확인
클러스터를 Amazon VPC 서브넷에서 시작한 경우 Amazon EMR에 대해 VPC에서 네트워킹 구성에서 설명한 대로 서브넷을 구성해야 합니다. 또한 클러스터를 시작하는 서브넷에 탄력적 가용 IP 주소가 충분하여 클러스터의 각 노드에 하나씩 할당할 수 있는지 확인합니다.
