

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# Amazon EMR 6.11.0 – Hive 版本備註
<a name="Hive-release-history-6110"></a>

## Amazon EMR 6.11.0 – Hive 變更
<a name="Hive-release-history-changes-6110"></a>


****  

| Type | 說明 | 
| --- | --- | 
| 改進項目 | 新增了對多執行緒捨棄分割區的支援，以提高捨棄分割區的效能 | 
| 改進項目 | 支援讀取編碼的 Hive 查詢檔案 | 
| 改進項目 | 依預設，為 Hive on Tez 作業啟用 Tez 混洗處理常式 | 
| 錯誤 | [新增了一個選項，以允許在啟用 hive.groupby.skewindata 時對縮減器啟用固定式金鑰分佈，從而修正錯誤結果 (在 HIVE-20220](https://issues.apache.org/jira/browse/HIVE-20220) 中報告) | 
| 錯誤 | 修正了在設定預設分割區名稱時，統計資料運算失敗的問題 | 
| 錯誤 | 遵守在啟用了傳輸中加密的叢集中，以立即可用的方式為 HiveServer2 設定 SSL 時傳遞的任何自訂 SSL 分類參數 | 
| 向後移植 | [HIVE-23617](https://issues.apache.org/jira/browse/HIVE-23617)：修正了 storage-api FindBug 問題 | 
| 向後移植 |  [HIVE-26408](https://issues.apache.org/jira/browse/HIVE-26408)：向量化：修正暫存資料欄的取消配置，不要重複使用子項 ConstantVectorExpression 作為輸出 | 
| 向後移植 | [HIVE-23614](https://issues.apache.org/jira/browse/HIVE-23614)：始終將 HiveConfig 傳遞給 removeTempOrDuplicateFiles | 
| 向後移植 | [HIVE-23354](https://issues.apache.org/jira/browse/HIVE-23354)：從 compareTempOrDuplicateFiles 中移除檔案大小例行性檢查 | 
| 向後移植 | [HIVE-20344](https://issues.apache.org/jira/browse/HIVE-20344)：為擲出 AccessControlException 的 SBA 修正了 PrivilegeSynchronizer。還引入了 hive.privilege.synchronizer 屬性來停用權限同步器 | 
| 向後移植 | [HIVE-15826](https://issues.apache.org/jira/browse/HIVE-15826)：支援為所有 SerDes 設定 'serialization.encoding' | 
| 向後移植 | [HIVE-18284](https://issues.apache.org/jira/browse/HIVE-18284)：修正使用 dynpart 排序優化插入具有 'distribute by' 子句的資料時出現的 NPE | 
| 向後移植 | [HIVE-24930](https://issues.apache.org/jira/browse/HIVE-24930)：在向量化程式碼路徑中不使用來自子操作的 Operator.setDone() 短路 (如果 childSize == 1) | 
| 向後移植 | [HIVE-24523](https://issues.apache.org/jira/browse/HIVE-24523)：LazySimpleSerde 的向量化讀取路徑不支援時間戳記的 SERDEPROPERTIES | 
| 向後移植 | [HIVE-23265](https://issues.apache.org/jira/browse/HIVE-23265)：在設定了「限制」和「位移」的情況下傳回重複的資料列集 | 
| 向後移植 | [HIVE-21492](https://issues.apache.org/jira/browse/HIVE-21492)：VectorizedParquetRecordReader 無法讀取使用 thrift/自訂工具產生的 parquet 檔案 | 
| 向後移植 | [HIVE-22540](https://issues.apache.org/jira/browse/HIVE-22540)：向量化：Decimal64 資料欄不適用於 VectorizedBatchUtil.makeLikeColumnVector() | 
| 向後移植 | [HIVE-22588](https://issues.apache.org/jira/browse/HIVE-22588)：切換向量 groupby 模式時，排清其餘分組集的剩餘資料列 | 
| 向後移植 | [HIVE-22551](https://issues.apache.org/jira/browse/HIVE-22551)：BytesColumnVector initBuffer 應一致地清除向量和長度 | 
| 向後移植 | [HIVE-22448](https://issues.apache.org/jira/browse/HIVE-22448)：CBO：使用 group-by 金鑰擴展多個不同的計數 | 
| 向後移植 | [HIVE-22248](https://issues.apache.org/jira/browse/HIVE-22248)：修正持續存在的統計資料問題 | 
| 向後移植 | [HIVE-22210](https://issues.apache.org/jira/browse/HIVE-22210)：向量化可以重複使用篩選中涉及的運算輸出資料欄 | 
| 向後移植 | [HIVE-21531](https://issues.apache.org/jira/browse/HIVE-21531)：向量化：所有 NULL 雜湊程式碼都不是使用 Murmur3 運算的 | 
| 向後移植 | [HIVE-20419](https://issues.apache.org/jira/browse/HIVE-20419)：向量化：防止在 hashmap 金鑰中使用 VectorPartitionDesc 後發生變動 | 
| 向後移植 | [HIVE-19388](https://issues.apache.org/jira/browse/HIVE-19388)：VectorMapJoinCommonOperator 初始化期間出現 ClassCastException | 
| 向後移植 | [HIVE-21584](https://issues.apache.org/jira/browse/HIVE-21584)：Java 11 準備工作：系統類別載入器不是 URLClassLoader | 
| 向後移植 | [HIVE-25107](https://issues.apache.org/jira/browse/HIVE-25107)：類別路徑日誌記錄應處於 DEBUG 層級 (\#2271) | 
| 向後移植 | [HIVE-22097](https://issues.apache.org/jira/browse/HIVE-22097)：適用於 java 11 的 java.util.ArrayList 不相容 | 
| 向後移植 | [HIVE-23938](https://issues.apache.org/jira/browse/HIVE-23938)：LLAP：JDK11 – 某些 GC 日誌檔案輪換相關的 jvm 引數無法再使用 | 
| 向後移植 | [HIVE-26226](https://issues.apache.org/jira/browse/HIVE-26226)：在 upgrade-acid 中將 jdk.tools dep 從 hive-metastore 中排除 | 
| 向後移植 | [HIVE-17879](https://issues.apache.org/jira/browse/HIVE-17879)：升級 Datanucleus Maven 外掛程式 | 
| 向後移植 | [HIVE-27004](https://issues.apache.org/jira/browse/HIVE-27004)：DateTimeFormatterBuilder\#appendZoneText 無法在高於 8 的 Java 版本中剖析 'UTC\+' | 
| 向後移植 | [HIVE-16812](https://issues.apache.org/jira/browse/HIVE-16812)：VectorizedOrcAcidRowBatchReader 無法篩選刪除事件 | 
| 向後移植 | [HIVE-17917](https://issues.apache.org/jira/browse/HIVE-17917)：VectorizedOrcAcidRowBatchReader.computeOffsetAndBucket 優化 | 
| 向後移植 | [HIVE-19985](https://issues.apache.org/jira/browse/HIVE-19985)：ACID：略過解碼唯讀查詢的 ROW\_\_ID 區段 | 
| 向後移植 | [HIVE-20635](https://issues.apache.org/jira/browse/HIVE-20635)：VectorizedOrcAcidRowBatchReader 不會篩選原始檔案的刪除事件 | 
| 升級 | 將 Javadoc 升級至 3.3.1 | 
| 升級 | 將 Javassist 升級至 3.24.1-GA | 
| 升級 | 將 apache-directory-server 更新至 2.0.0-M14 | 

## 新組態
<a name="Hive-release-history-changes-6110-new-configurations"></a>


****  

| 名稱 | 分類 | Description | 
| --- | --- | --- | 
| hive.metastore.fs.drop.partition.threads | hive-site | 捨棄分割區執行緒集區中的核心執行緒數量。 | 
| hive.metastore.fs.drop.partition.keepalive.time | hive-site | 閒置的捨棄分割區非同步執行緒 (來自執行緒集區) 在終止之前等待新任務到達的時間 (以秒為單位)。 | 
| hive.metastore.fs.drop.partition.threadpool.max.queue.size | hive-site | 執行緒集區中用於從檔案系統中捨棄分割區的最大佇列大小。 | 
| hive.groupby.enable.deterministic.distribution | hive-site | 啟用將金鑰固定分佈至縮減器。它將在呼叫用於隨機分割的 rand 函數時傳遞固定的種子值。 | 
| hive.privilege.synchronizer | hive-site | 是否在 HiveServer2 中定期同步來自外部授權方的權限。 | 
| hive.cli.query.file.encoding | hive-site | cli 引數中提供的所有類型的查詢檔案 (查詢檔案、init 查詢檔案、rc 檔案等) 的檔案編碼。 | 
| hive.emr.tez.shuffle.enabled | hive-site | Hive on Tez 作業現在預設使用 tez\_shuffle 而不是 mapreduce\_shuffle 作為預設混洗處理常式。 | 

## 已棄用組態
<a name="Hive-release-history-changes-6110-old-configurations"></a>

由於 [HIVE-23354](https://issues.apache.org/jira/browse/HIVE-23354)，下列組態屬性已棄用，且 Amazon EMR 6.11.0 版及更高版本不再支援。


| 名稱 | 預設值 | 
| --- | --- | 
| `hive.mapred.reduce.tasks.speculative.execution` | `false` | 
| `tez.am.speculation.enabled` | `false` | 