YARN 애플리케이션 ID를 사용한 EMR 단계 디버깅 - Amazon EMR
YARN 애플리케이션 ID

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

YARN 애플리케이션 ID를 사용한 EMR 단계 디버깅

YARN 기반 애플리케이션을 시작하는 단계(예: Spark 단계)를 디버깅하는 효과적인 방법 중 하나는 Amazon EMR 콘솔에서 사용할 수 있는 Yarn 애플리케이션 ID 정보를 활용하는 것입니다.

YARN 애플리케이션 ID

Spark 또는 기타 YARN 기반 작업을 실행하는 단계의 경우 EMR 콘솔은 단계 세부 정보에 가장 최근에 실행된 YARN 애플리케이션 ID를 표시합니다. 단계가 여러 YARN 애플리케이션을 시작하는 경우 마지막으로 실행된 애플리케이션 ID만 표시됩니다.

디버깅에 Yarn 애플리케이션 ID 사용하는 이유는 무엇입니까?

  • EMR 단계를 Yarn 애플리케이션과 직접 연결 가능: 문제가 있거나 주목할 Yarn 애플리케이션을 정확히 식별합니다.

  • 라이브 모니터링 도구에 액세스 가능: 애플리케이션 ID를 사용하여 YARN ResourceManager Live UI 또는 Spark 기록 서버 UI를 열어 실행 중이거나 완료된 애플리케이션을 검사합니다.

  • 자세한 문제 해결을 위해 로그 검색 가능: 애플리케이션 ID를 사용하여 해당 애플리케이션과 연결된 S3에 저장된 컨테이너 로그를 찾아 장애 또는 성능 문제를 자세히 살펴볼 수 있습니다.

이 정보는 다양한 방법으로 사용할 수 있습니다.

  1. EMR 클러스터의 단계 탭으로 이동합니다.

  2. 디버깅할 단계를 클릭합니다.

  3. 단계 세부 정보 패널에서 Yarn 애플리케이션 ID 섹션을 찾습니다.

  4. 제공된 애플리케이션 ID를 복사합니다.

  5. ID를 사용하여 다음을 수행합니다.

    • YARN ResourceManager Live UI를 엽니다. URI는 http://resourcemanager-host:8088/cluster/app/application_id와 같이 나타납니다.

    • Spark 기록 서버 UI를 열어 애플리케이션 실행 세부 정보를 검토합니다.

    • 애플리케이션 ID로 태그가 지정된 경로에서 S3 버킷의 컨테이너 로그에 액세스합니다.

Yarn 애플리케이션 ID를 사용하면 디버깅 프로세스를 간소화하고 상위 수준의 EMR 단계 실패를 기본 Yarn 애플리케이션 실행에 연결할 수 있습니다.