View a markdown version of this page

Amazon EMR 6.10.0 - Tez リリースノート - Amazon EMR
Tez の変更点

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 6.10.0 - Tez リリースノート

Amazon EMR 6.10.0 - Tez の変更点

型 説明
機能 デフォルトで tez.runtime.transfer.data-via-events.enabled を有効にします
バックポート TEZ-4450: シャッフルデータがデータ移動イベント経由で転送された際のシャッフルデータ取得の失敗を修正します
バックポート TEZ-4460: Tez シャッフルハンドラーからシャッフルデータを取得する際の読み取りタイムアウトエラーを修正します
バックポート TEZ-4455: デバッグしやすくするために、ShuffleHandler パイプラインに LoggingHandler を追加します
バグ タスクのプリエンプションが有効になっていると、Tez タスクが断続的に停止してしまう問題を修正します

Amazon EMR 6.10.0 - Tez の既知の問題

  • Tez で実行されている Hive ジョブ – EMR バージョン 6.9.0 を実行する SSL が有効になっているクラスターでは、Tez で実行されている Hive ジョブが SSLHandshakeException で失敗するという既知の問題があります。これは、オープンソースの問題 TEZ-4096 に関連しています。これは、EMR 6.9.0 のバージョン 0.10.2 への Tez アップグレードで導入されました。この問題では、SSL 関連の設定をクライアント側 (Hive) から渡す必要があります。

    修正バージョン: – EMR 6.10.0

    バージョン 6.9 の回避策 – 次の SSL 設定を tez-site.xml に追加します:

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

  • Tez で実行されている Pig ジョブ – EMR バージョン 6.9.0〜7.0.0 を実行する SSL が有効になっているクラスターでは、Tez で実行されている Pig ジョブが SSLHandshakeException で失敗するという既知の問題があります。これは、オープンソースの問題 TEZ-4096 に関連しています。これは、EMR 6.9.0 のバージョン 0.10.2 への Tez アップグレードで導入されました。この問題では、SSL 関連の設定をクライアント側 (Pig) から渡す必要があります。

    修正バージョン: – EMR 7.1.0

    回避策 – 次の SSL 設定を tez-site.xml に追加します:

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>