View a markdown version of this page

Amazon EMR 7.1.0 - Tez 版本備註 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR 7.1.0 - Tez 版本備註

Amazon EMR 7.1.0 - Tez 變更

Type 說明
錯誤修正 TEZ-4394 – Netty4 ShuffleHandler:應該使用 1 個凸執行緒 (#256)
升級 將 Netty 升級到 4.1.100.Final。
升級 將 Jetty 升級到 9.4.53.v20231009。

Amazon EMR 7.1.0 - Tez 已知問題

  • Tez DAG 清除問題 (EMR 6.11.0 - EMR 7.2.0) – 在已啟用 SSL 執行 EMR 6.11.0 至 7.2.0 版的叢集中,在 DAG 清除階段的 TEZ Application Master (AM) 中發生 SSLHandshakeException 的已知問題。嘗試在查詢完成後透過 HTTPS 刪除遠端節點的中繼隨機播放資料時會發生這種情況,而不是在查詢執行期間。發生此問題是因為 Tez AM 在呼叫隨機處理常式服務端點時無法讀取相關的 trustStore 組態。不過,這只會影響 DAG 清除期間的隨機資料清除,應用程式 (AM) 層級清除仍會發生,並清除任何遺留隨機資料。因此,這不會導致隨機資料累積。

    修正版本:– EMR 7.3.0

    解決方法 – 將下列 SSL 組態新增至 tez-site.xml:

    <property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>
  • 在 Tez 上執行的 Pig 任務 – 在已啟用 SSL 且執行 EMR 版本 6.9.0 至 7.0.0 的叢集中,在 Tez 上執行的 Pig 任務無法使用 SSLHandshakeException 失敗的已知問題。這與開放原始碼問題 TEZ-4096 有關,該問題與 EMR 6.9.0 中的 Tez 升級到 0.10.2 版一起推出。此問題需要從用戶端 (Pig) 傳遞 SSL 相關組態。

    修正版本:– EMR 7.1.0

    解決方法 – 將下列 SSL 組態新增至 tez-site.xml:

    <property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>