Amazon EMR 6.15.0 - Tez リリースノート

Tez で実行されている Pig ジョブ – EMR バージョン 6.9.0〜7.0.0 を実行する SSL が有効になっているクラスターでは、Tez で実行されている Pig ジョブが SSLHandshakeException で失敗するという既知の問題があります。これは、オープンソースの問題 TEZ-4096 に関連しています。これは、EMR 6.9.0 のバージョン 0.10.2 への Tez アップグレードで導入されました。この問題では、SSL 関連の設定をクライアント側 (Pig) から渡す必要があります。

修正バージョン: – EMR 7.1.0

回避策 – 次の SSL 設定を tez-site.xml に追加します:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Tez DAG クリーンアップの問題 (EMR 6.11.0 - EMR 7.2.0) – EMR バージョン 6.11.0〜7.2.0 を実行する SSL が有効になっているクラスターでは、DAG クリーンアップフェーズ中に TEZ アプリケーションマスター (AM) で SSLHandshakeException が発生するという既知の問題があります。これは、クエリの実行中ではなく、クエリの完了後に HTTPS 経由でリモートノードから中間シャッフルデータを削除しようとした場合に発生します。この問題は、Tez AM がシャッフルハンドラーサービスエンドポイントを呼び出すときに関連する [trustStore] 設定を読み取ることができないために発生します。ただし、これは DAG クリーンアップ中のシャッフルデータのクリーンアップにのみ影響します。アプリケーション (AM) レベルのクリーンアップはいずれにしても行われ、残っているシャッフルデータをクリーンアップします。そのため、シャッフルデータの蓄積につながることはありません。

修正バージョン: – EMR 7.3.0

回避策 – 次の SSL 設定を tez-site.xml に追加します:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Tez 非同期分割オープン - Amazon EMR 6.15.0 では、入力分割を Tez グループ分割で非同期的に開くように指定できる構成が導入されています。この機能は TEZ-4397 で開始されましたが、OSS Hive ではリグレッションが発生していました。Amazon EMR Hive では Hive ACID テーブルのリグレッションとその他のバグが修正されました。この改善により、1 つの Tez グループ分割で多数の入力分割がある場合に、読み取りクエリのパフォーマンスが向上します。詳細については、「Tez 非同期分割オープニング」を参照してください。