Amazon EMR 클러스터 문제 해결 - Amazon EMR

Amazon EMR 클러스터 문제 해결

EMR 클러스터는 오픈 소스 소프트웨어, 사용자 지정 애플리케이션 코드, AWS 서비스 등으로 구성된 복잡한 에코시스템에서 실행됩니다. 이러한 부분에서 문제가 발생하면 클러스터에 장애가 발생하거나 완료 시간이 예상보다 길어질 수 있습니다. 다음 주제는 클러스터 문제를 식별하고 해결 방법을 찾는 데 도움이 될 수 있습니다.

EMR의 Spark 애플리케이션 문제 해결 지침.

새 Hadoop 애플리케이션을 개발하는 경우, 디버깅을 활성화하고, 대표적인 소규모 데이터 하위 집합을 처리하여 애플리케이션을 테스트하는 것이 좋습니다. 애플리케이션을 단계적으로 실행하여 각 단계를 별도로 테스트해도 좋습니다. 자세한 내용은 Amazon EMR 클러스터 로깅 및 디버깅 구성5단계: Amazon EMR 클러스터 단계별 테스트(을)를 참조하세요.