View a markdown version of this page

Amazon EMR 7.6.0 - Hive 版本備註 - Amazon EMR
Hive 變更

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EMR 7.6.0 - Hive 版本備註

Amazon EMR 7.6.0 - Hive 變更

Type 說明

改進項目

新增 ORC 非 ACID 分割資料表的快速 S3 字首清單功能

功能

新增對 S3AFileSystem 上 Hive 寫入查詢的魔術發射器支援

已知問題

  • 對於使用 Amazon S3 Express One Zone 作為輸出位置的 Hive Insert 覆寫查詢，請將 core-site 組態： fs.s3a.directory.operations.purge.uploads 設定為 false。

Amazon EMR 7.6.0 - 新組態

分類 名稱 預設 Description

hive-site

hive.exec.fast.s3.partition.discovery.enabled

true

是否使用快速 S3 分割區探索進行分割計算。這將為支援的檔案格式啟用字首型清單：ORC。請注意，此功能使用 S3 Express One Zone 儲存類別不支援的 S3 API 參數。使用它們時，請停用此功能。

hive-site

hive.exec.fast.s3.partition.discovery.max.thread.threshold

128

快速 S3 分割區探索的最大平行處理程度。

hive-site

hive.exec.fast.s3.partition.discovery.parallelism

10

單次執行快速 S3 分割區探索的平行處理程度。只有在 hive.exec.fast.s3.partition.discovery.enabled 設定為 時，此組態才會有效果 true

hive-site

hive.blobstore.output-committer.magic.track.commits.in.memory.enabled

true

使用 Hive 切換的旗標是否應追蹤記憶體中所有待處理的遞交？ 魔術遞交者可以選擇將遞交資料存放在記憶體中，透過較少的 S3 呼叫來加速 TaskCommit 操作。此組態會覆寫 Hadoop 組態 fs.s3a.committer.magic.track.commits.in.memory.enabled

hive-site

hive.blobstore.output-committer.dp.skip.task.staging.dir.creation

true

魔術遞交者是否應該在 blobstore 中建立 dp 預備路徑來切換的旗標？ 此旗標僅適用於當 Hive 透過 使用 Magic Committer 時，在記憶體中追蹤遞交的情況hive.blobstore.output-committer.magic.track.commits.in.memory.enabled。根據預設，它會設為 true，但只有在hive.blobstore.output-committer.magic.track.commits.in.memory.enabled啟用 並儲存 blobstore 中建立任務嘗試路徑的其他 S3 呼叫時才會生效。

hive-site

hive.blobstore.output-committer.magic.disable.fs.cache.for.llap

true

使用 Magic Committer 時，要在 LLAP 的寫入流程中停用 Blobstore FS 快取的切換旗標。此標記會在啟用 LLAP 時顯示，且預設為 true。