Amazon EMR 7.4.0 - Hive リリースノート

アップグレード

HADOOP-28191: Hadoop バージョンを 3.4.0 にアップグレード

アップグレード

hadoop シェーディング protobuf を 3.21 にアップグレード

アップグレード

commons-cli を 1.5.0 にアップグレードする

アップグレード

commons-compress を 1.24.0 にアップグレード

アップグレード

commons-io を 2.14.0 にアップグレード

アップグレード

commons-lang3 を 3.21.0 にアップグレード

改善点

HiveCLI で既存のセッションを使用しようとしているときに Tez セッションが開くのを待つ時間を 10 秒に変更する

改善点

LIMIT を使用した簡易選択クエリで Tez DAG のショートサーキットメカニズムを有効にする

改善点

HIVE-21100: TEZ エンジンと UNION 句の使用時に発生したテーブルサブディレクトリのフラット化を許可する

バグ修正

HIVE-25095: Beeline/hive -e コマンドは末尾の引用符でクエリを処理できない

バグ修正

HIVE-13781: パーティションディレクトリが存在しない場合、Tez ジョブが FileNotFoundException で失敗する

バグ修正

HIVE-28480: 以前の RS の結合ブランチ間でパーティションハッシュジェネレーターの SMB の不一致を無効にする

hive-site

hive.ignore.failure.partition.dir.not.found

false

テーブルパーティションは存在するが、実際のオブジェクトストレージパスが存在しない場合、失敗を無視します。

hive-site

hive.tez.union.flatten.subdirectories

false

データをテーブルに書き込み、UNION ALL がクエリの最後のステップである場合、Hive on Tez は UNION ALL の各ブランチにサブディレクトリを作成します。このプロパティを有効にすることにより、サブディレクトリが削除され、ファイルの名前が変更され、親ディレクトリに移動されます。hive.blobstore.use.output-committer が有効になっている場合、これは効果がないことに注意してください。