View a markdown version of this page

Amazon EMR 7.1.0 - Tez リリースノート - Amazon EMR
Tez の変更点

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 7.1.0 - Tez リリースノート

Amazon EMR 7.1.0 - Tez の変更点

型 説明
バグ修正 TEZ-4394 – Netty4 ShuffleHandler: 1 つのボススレッド (#256) を使用する必要があります
アップグレード Netty を 4.1.100.Final にアップグレードします。
アップグレード Jetty を 9.4.53.v20231009 にアップグレードします。

Amazon EMR 7.1.0 - Tez の既知の問題

  • Tez DAG クリーンアップの問題 (EMR 6.11.0 - EMR 7.2.0) – EMR バージョン 6.11.0〜7.2.0 を実行する SSL が有効になっているクラスターでは、DAG クリーンアップフェーズ中に TEZ アプリケーションマスター (AM) で SSLHandshakeException が発生するという既知の問題があります。これは、クエリの実行中ではなく、クエリの完了後に HTTPS 経由でリモートノードから中間シャッフルデータを削除しようとした場合に発生します。この問題は、Tez AM がシャッフルハンドラーサービスエンドポイントを呼び出すときに関連する [trustStore] 設定を読み取ることができないために発生します。ただし、これは DAG クリーンアップ中のシャッフルデータのクリーンアップにのみ影響します。アプリケーション (AM) レベルのクリーンアップはいずれにしても行われ、残っているシャッフルデータをクリーンアップします。そのため、シャッフルデータの蓄積につながることはありません。

    修正バージョン: – EMR 7.3.0

    回避策 – 次の SSL 設定を tez-site.xml に追加します:

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

  • Tez で実行されている Pig ジョブ – EMR バージョン 6.9.0〜7.0.0 を実行する SSL が有効になっているクラスターでは、Tez で実行されている Pig ジョブが SSLHandshakeException で失敗するという既知の問題があります。これは、オープンソースの問題 TEZ-4096 に関連しています。これは、EMR 6.9.0 のバージョン 0.10.2 への Tez アップグレードで導入されました。この問題では、SSL 関連の設定をクライアント側 (Pig) から渡す必要があります。

    修正バージョン: – EMR 7.1.0

    回避策 – 次の SSL 設定を tez-site.xml に追加します:

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>