Amazon EMR 7.6.0 - Hive リリースノート

改良点

ORC 非 ACID パーティションテーブルの高速 S3 プレフィックスリスト機能を追加した

機能

S3AFileSystem での Hive 書き込みクエリのマジックコミッターのサポートを追加する

hive-site

hive.exec.fast.s3.partition.discovery.enabled

true

分割計算に高速 S3 パーティション検出を使用するか否か。これにより、サポートされているファイル形式 ORC のプレフィックスベースのリストが有効になります。この機能は、S3 Express One Zone ストレージクラスではサポートされていない S3 API パラメータを使用することにご注意ください。これらを使用する場合は、この機能を無効にします。

hive-site

hive.exec.fast.s3.partition.discovery.max.thread.threshold

128

高速 S3 パーティション検出の最大並列度。

hive-site

hive.exec.fast.s3.partition.discovery.parallelism

10

高速 S3 パーティション検出の 1 回の実行の並列度。この設定は、hive.exec.fast.s3.partition.discovery.enabled が true に設定されている場合にのみ効果があります。

hive-site

hive.blobstore.output-committer.magic.track.commits.in.memory.enabled

true

Hive でマジックコミッターがメモリ内の保留中のコミットをすべて追跡する必要があるかを切り替えるフラグ? マジックコミッターには、コミットデータをメモリ内に保存するオプションがあり、S3 呼び出しを減らすことで TaskCommit オペレーションを高速化できます。この設定は Hadoop 設定 fs.s3a.committer.magic.track.commits.in.memory.enabled を上書きする

hive-site

hive.blobstore.output-committer.dp.skip.task.staging.dir.creation

true

マジックコミッターが blobstore に dp ステージングパスを作成するかどうかを切り替えるフラグ? このフラグは、Hive が hive.blobstore.output-committer.magic.track.commits.in.memory.enabled を介してマジックコミッターを使用する場合に、メモリ内のコミットを追跡する場合にのみ適用されます。デフォルトでは true に設定されていますが、hive.blobstore.output-committer.magic.track.commits.in.memory.enabled が有効になっている場合にのみ有効になり、タスク作成試行パスの追加 S3 呼び出しが blobstore に保存されます。

hive-site

hive.blobstore.output-committer.magic.disable.fs.cache.for.llap

true

マジックコミッターを使用するときに LLAP の書き込みフローで blobstore FS キャッシュを無効にするかどうかを切り替えるフラグ。このフラグは、LLAP が有効になっている場合に表示され、デフォルトで true に設定されます。