Amazon EMR 7.0.0 - Tez リリースノート

Tez で実行されている Pig ジョブ – EMR バージョン 6.9.0〜7.0.0 を実行する SSL が有効になっているクラスターでは、Tez で実行されている Pig ジョブが SSLHandshakeException で失敗するという既知の問題があります。これは、オープンソースの問題 TEZ-4096 に関連しています。これは、EMR 6.9.0 のバージョン 0.10.2 への Tez アップグレードで導入されました。この問題では、SSL 関連の設定をクライアント側 (Pig) から渡す必要があります。

修正バージョン: – EMR 7.1.0

回避策 – 次の SSL 設定を tez-site.xml に追加します:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Tez DAG クリーンアップの問題 (EMR 6.11.0 - EMR 7.2.0) – EMR バージョン 6.11.0〜7.2.0 を実行する SSL が有効になっているクラスターでは、DAG クリーンアップフェーズ中に TEZ アプリケーションマスター (AM) で SSLHandshakeException が発生するという既知の問題があります。これは、クエリの実行中ではなく、クエリの完了後に HTTPS 経由でリモートノードから中間シャッフルデータを削除しようとした場合に発生します。この問題は、Tez AM がシャッフルハンドラーサービスエンドポイントを呼び出すときに関連する [trustStore] 設定を読み取ることができないために発生します。ただし、これは DAG クリーンアップ中のシャッフルデータのクリーンアップにのみ影響します。アプリケーション (AM) レベルのクリーンアップはいずれにしても行われ、残っているシャッフルデータをクリーンアップします。そのため、シャッフルデータの蓄積につながることはありません。

修正バージョン: – EMR 7.3.0

回避策 – 次の SSL 設定を tez-site.xml に追加します:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>