View a markdown version of this page

Amazon EMR 7.1.0 - Tez 릴리스 정보 - Amazon EMR
Tez 변경 사항

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 7.1.0 - Tez 릴리스 정보

Amazon EMR 7.1.0 - Tez 변경 사항

Type 설명
버그 수정 TEZ-4394 – Netty4 ShuffleHandler: 보스 스레드 1개를 사용해야 함(#256)
업그레이드 Netty를 4.1.100.Final로 업그레이드합니다.
업그레이드 Jetty를 9.4.53.v20231009로 업그레이드합니다.

Amazon EMR 7.1.0 - Tez 알려진 문제

  • Tez DAG 정리 문제(EMR 6.11.0 - EMR 7.2.0) - EMR 버전 6.11.0~7.2.0을 실행하는 SSL이 활성화된 클러스터에서는 DAG 정리 단계의 TEZ Application Master(AM)에서 SSLHandshakeException이 발생하는 문제가 있습니다. 이는 쿼리 실행 중이 아니라 쿼리 완료 후 HTTPS를 통해 원격 노드에서 중간 셔플 데이터를 삭제하려고 할 때 발생합니다. 이 문제는 셔플 핸들러 서비스 엔드포인트를 호출할 때 Tez AM이 관련 trustStore 구성을 읽을 수 없기 때문에 발생합니다. 그러나 이는 DAG 정리 중 셔플 데이터 정리에만 영향을 미치며, 애플리케이션(AM) 수준 정리는 그대로 수행되고 잔여 셔플 데이터를 모두 정리합니다. 따라서 이로 인해 셔플 데이터가 누적되지 않습니다.

    수정 버전: – EMR 7.3.0

    해결 방법 – tez-site.xml에 다음 SSL 구성을 추가합니다.

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

  • Tez에서 실행되는 Pig 작업 - EMR 버전 6.9.0~7.0.0을 실행하는 SSL이 활성화된 클러스터에서는 Tez에서 실행되는 Pig 작업이 SSLHandshakeException으로 실패하는 문제가 있습니다. 이는 EMR 6.9.0의 Tez 버전 0.10.2로 업그레이드되면서 발생한 오픈 소스 문제 TEZ-4096과 관련이 있습니다. 이 문제를 해결하려면 클라이언트 측(Pig)에서 SSL 관련 구성을 전달합니다.

    수정 버전: – EMR 7.1.0

    해결 방법 – tez-site.xml에 다음 SSL 구성을 추가합니다.

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>