View a markdown version of this page

Amazon EMR 6.11.0 - Tez 릴리스 정보 - Amazon EMR
Tez 변경 사항

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 6.11.0 - Tez 릴리스 정보

Amazon EMR 6.11.0 - Tez 변경

Type 설명
버그 셔플 데이터의 버텍스 수준 정리 작업 중에 잘못된 버텍스 상태 전환을 수정함
버그 셔플 데이터의 DAG 또는 버텍스 수준 정리가 작동하지 않던 문제를 수정함
개선 사항 완료된 DAG의 셔플 데이터를 지우기 위해 기본적으로 tez.am.dag.cleanup.on.completion 활성화

Amazon EMR 6.11.0 - Tez 알려진 문제

  • Tez에서 실행되는 Pig 작업 - EMR 버전 6.9.0~7.0.0을 실행하는 SSL이 활성화된 클러스터에서는 Tez에서 실행되는 Pig 작업이 SSLHandshakeException으로 실패하는 문제가 있습니다. 이는 EMR 6.9.0의 Tez 버전 0.10.2로 업그레이드되면서 발생한 오픈 소스 문제 TEZ-4096과 관련이 있습니다. 이 문제를 해결하려면 클라이언트 측(Pig)에서 SSL 관련 구성을 전달합니다.

    수정 버전: – EMR 7.1.0

    해결 방법 – tez-site.xml에 다음 SSL 구성을 추가합니다.

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

  • Tez DAG 정리 문제(EMR 6.11.0 - EMR 7.2.0) - EMR 버전 6.11.0~7.2.0을 실행하는 SSL이 활성화된 클러스터에서는 DAG 정리 단계의 TEZ Application Master(AM)에서 SSLHandshakeException이 발생하는 문제가 있습니다. 이는 쿼리 실행 중이 아니라 쿼리 완료 후 HTTPS를 통해 원격 노드에서 중간 셔플 데이터를 삭제하려고 할 때 발생합니다. 이 문제는 셔플 핸들러 서비스 엔드포인트를 호출할 때 Tez AM이 관련 trustStore 구성을 읽을 수 없기 때문에 발생합니다. 그러나 이는 DAG 정리 중 셔플 데이터 정리에만 영향을 미치며, 애플리케이션(AM) 수준 정리는 그대로 수행되고 잔여 셔플 데이터를 모두 정리합니다. 따라서 이로 인해 셔플 데이터가 누적되지 않습니다.

    수정 버전: – EMR 7.3.0

    해결 방법 – tez-site.xml에 다음 SSL 구성을 추가합니다.

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>