View a markdown version of this page

Amazon EMR 7.2.0 - Tez リリースノート - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 7.2.0 - Tez リリースノート

Amazon EMR 7.2.0 - Tez の変更点

説明
改良点 タスクのコンテナをリクエストする時に、ローカル性の制約を無効にするためのオプションを提供します。
バグ修正 TaskDependencies#addTaskDependency スレッドを安全にする
アップグレード Tez の TLS バージョンを 1.3 にアップグレードします。

Amazon EMR 7.2.0 - 新しい設定

分類 名前 デフォルト 説明

tez-site

tez.task.relaxed.locality

false

有効にすることにより、タスクのコンテナをリクエストする時に、ラックとノードのローカル性の制約は考慮されません。

Amazon EMR 7.2.0 - Tez の既知の問題

Tez DAG クリーンアップの問題 (EMR 6.11.0 - EMR 7.2.0) – EMR バージョン 6.11.0〜7.2.0 を実行する SSL が有効になっているクラスターでは、DAG クリーンアップフェーズ中に TEZ アプリケーションマスター (AM) で SSLHandshakeException が発生するという既知の問題があります。これは、クエリの実行中ではなく、クエリの完了後に HTTPS 経由でリモートノードから中間シャッフルデータを削除しようとした場合に発生します。この問題は、Tez AM がシャッフルハンドラーサービスエンドポイントを呼び出すときに関連する [trustStore] 設定を読み取ることができないために発生します。ただし、これは DAG クリーンアップ中のシャッフルデータのクリーンアップにのみ影響します。アプリケーション (AM) レベルのクリーンアップはいずれにしても行われ、残っているシャッフルデータをクリーンアップします。そのため、シャッフルデータの蓄積につながることはありません。

修正バージョン: – EMR 7.3.0

回避策 – 次の SSL 設定を tez-site.xml に追加します:

<property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>