本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # Amazon EMR 6.12.0 – Hive 版本備註 ## Amazon EMR 6.12.0 – Hive 變更 **** | Type | 說明 | | --- | --- | | 改進項目 | 新增了對 JDK 11 和 JDK 17 執行期的支援 | | 改進項目 | 新增了使用 S3 Select 時，對查詢區分大小寫和預留關鍵字資料欄名稱的支援。若要使用它，請以 "s3select.column.mapping" = "{{column1}}:{{fieldName1}}, {{column2}}:{{fieldName2}},..." 格式定義資料表屬性 | | 改進項目 | [HIVE-23133](https://issues.apache.org/jira/browse/HIVE-23133)：不同硬體架構的數值運算可能有不同的結果 | | 改進項目 | [HIVE-27145](https://issues.apache.org/jira/browse/HIVE-27145)：對剩餘的數學函數使用 StrictMath 作為 HIVE-23133 的後續函數 | | 錯誤修正 | 修正在 EMR Hive 6.4.0 中移植 [HIVE-22900](https://issues.apache.org/jira/browse/HIVE-22900) 而導致的 get\_partitions\_by\_filter 和 get\_num\_partitions\_by\_filter HMS API 中的萬用字元不相容問題 | | 錯誤修正 | [HIVE-26736](https://issues.apache.org/jira/browse/HIVE-26736)：具有 WITH 子句的巢狀檢視授權失敗 | | 錯誤修正 | [HIVE-22416](https://issues.apache.org/jira/browse/HIVE-22416)：啟用平行執行後，與 MR 相關的操作日誌遺失 | | 錯誤修正 | [HIVE-19653](https://issues.apache.org/jira/browse/HIVE-19653)：具有分組集的 groupby 的述詞下推不正確 | | 錯誤修正 | [HIVE-22094](https://issues.apache.org/jira/browse/HIVE-22094)：使用 ClassCastException 查詢失敗：hive.ql.exec.vector.DecimalColumnVector 無法轉換為 hive.ql.exec.vector.Decimal64ColumnVector | | 錯誤修正 | [HIVE-26340](https://issues.apache.org/jira/browse/HIVE-26340)：如果查詢具有大寫視窗函數，向量化 PTF 運算子會失敗 | | 錯誤修正 | [HIVE-26184](https://issues.apache.org/jira/browse/HIVE-26184)：當某些金鑰高度偏斜時，使用 GROUP BY 的 COLLECT\_SET 速度非常慢 | | 錯誤修正 | [HIVE-26373](https://issues.apache.org/jira/browse/HIVE-26373)：從具有 Avro 資料的 HBase 資料表中讀取時間戳記時出現 ClassCastException | | 錯誤修正 | [HIVE-26388](https://issues.apache.org/jira/browse/HIVE-26388)：當 CTAS 查詢的來源資料表中存在非字串類型資料欄時出現 ClassCastException 升級 [HIVE-26172](https://issues.apache.org/jira/browse/HIVE-26172)：Hive – 由於 CVE-2021-36373 和 CVE-2021-36374，將 Ant 升級至 1.10.11 | | 錯誤修正 | [HIVE-26114](https://issues.apache.org/jira/browse/HIVE-26114)：使用具有字首空格的 dfs 命令修正 jdbc 連線 hiveserver2 會導致例外狀況 | | 錯誤修正 | [HIVE-26396](https://issues.apache.org/jira/browse/HIVE-26396)：trunc 函數在精確度截取方面存在問題，且結果有許多 0 | | 錯誤修正 | [HIVE-26446](https://issues.apache.org/jira/browse/HIVE-26446)：HiveProtoLoggingHook 無法填入分割的資料表的 TablesWritten 欄位。 | | 錯誤修正 | [HIVE-26639](https://issues.apache.org/jira/browse/HIVE-26639)：ConstantVectorExpression 和 ExplainTask 不應依賴預設字元集 | | 錯誤修正 | [HIVE-22670](https://issues.apache.org/jira/browse/HIVE-22670)：使用向量化讀取器讀取 parquet 檔案時，出現 ArrayIndexOutOfBoundsException | | 錯誤修正 | [HIVE-23607](https://issues.apache.org/jira/browse/HIVE-23607)：許可問題：在其他檢視上建立檢視成功，但更改檢視失敗 | | 錯誤修正 | [HIVE-25498](https://issues.apache.org/jira/browse/HIVE-25498)：具有超過 31 個計數的不同函數的查詢傳回錯誤結果 | | 錯誤修正 | [HIVE-25780](https://issues.apache.org/jira/browse/HIVE-25780)：DistinctExpansion 建立了超過 64 個分組集 II | | 錯誤修正 | [HIVE-23868](https://issues.apache.org/jira/browse/HIVE-23868)：視窗化函數規範：支援 0 在之前/之後 | | 錯誤修正 | [HIVE-24539](https://issues.apache.org/jira/browse/HIVE-24539)：OrcInputFormat 結構描述產生應遵循資料欄分隔符號 | | 錯誤修正 | [HIVE-23476](https://issues.apache.org/jira/browse/HIVE-23476)：LLAP：也要為 mmap 案例預先配置 arenas | | 錯誤修正 | [HIVE-25806](https://issues.apache.org/jira/browse/HIVE-25806)：LlapCacheAwareFs 中的可能洩漏 – Parquet、LLAP IO | | 錯誤修正 | [HIVE-23498](https://issues.apache.org/jira/browse/HIVE-23498)：在 ThriftHttpCliService 上停用 HTTP 追蹤方法 | | 錯誤修正 | [HIVE-25729](https://issues.apache.org/jira/browse/HIVE-25729)：完全初始化後應通知 ThriftUnionObjectInspector | | 錯誤修正 | [HIVE-23846](https://issues.apache.org/jira/browse/HIVE-23846)：避免對位向量進行不必要的序列化和還原序列化 | | 錯誤修正 | [HIVE-24233](https://issues.apache.org/jira/browse/HIVE-24233)：except 子查詢在停用 cbo 的情況下擲出空指標 | | 錯誤修正 | [HIVE-24276](https://issues.apache.org/jira/browse/HIVE-24276)：HiveServer2 loggerconf jsp 跨網站指令碼 (XSS) 漏洞 | | 錯誤修正 | [HIVE-25721](https://issues.apache.org/jira/browse/HIVE-25721)：外部聯結結果錯誤 | | 錯誤修正 | [HIVE-25223](https://issues.apache.org/jira/browse/HIVE-25223)：具有限制的選取不會在非原生資料表上傳回任何資料列 | | 錯誤修正 | [HIVE-25794](https://issues.apache.org/jira/browse/HIVE-25794)：CombineHiveRecordReader：迴圈中的日誌陳述式導致記憶體壓力 | | 錯誤修正 | [HIVE-23602](https://issues.apache.org/jira/browse/HIVE-23602)：使用 Java 並行套件作為操作控點集 | | 錯誤修正 | [HIVE-24045](https://issues.apache.org/jira/browse/HIVE-24045)：沒有與建立預設資料庫的時間相關的日誌記錄 | | 錯誤修正 | [HIVE-24305](https://issues.apache.org/jira/browse/HIVE-24305)：如果將值括在引號中，avro 十進位結構描述無法正確填入小數位數/精確度 | | 錯誤修正 | [HIVE-25040](https://issues.apache.org/jira/browse/HIVE-25040)：捨棄資料庫串聯無法移除持久性函數 | | 錯誤修正 | [HIVE-23501](https://issues.apache.org/jira/browse/HIVE-23501)：將複雜類型轉換為基本類型時，VectorDeserializeRow 中出現 AOOB | | 錯誤修正 | [HIVE-23704](https://issues.apache.org/jira/browse/HIVE-23704)：Thrift HTTP 伺服器無法正確處理身分驗證處理常式 | | 錯誤修正 | [HIVE-23529](https://issues.apache.org/jira/browse/HIVE-23529)：使用 row\_deserialize 時，uniontype 的 CTAS 被破壞 | | 錯誤修正 | [HIVE-24144](https://issues.apache.org/jira/browse/HIVE-24144)：HiveDatabaseMetaData 中的 getIdentifierQuoteString 傳回不正確的值 | | 錯誤修正 | [HIVE-23850](https://issues.apache.org/jira/browse/HIVE-23850)：當主旨不是具有分組集的資料欄時，允許 PPD | | 錯誤修正 | [HIVE-25919](https://issues.apache.org/jira/browse/HIVE-25919)：在 HBaseStorageHandler 中推送布林值資料欄述詞時，出現 ClassCastException | | 錯誤修正 | [HIVE-25261](https://issues.apache.org/jira/browse/HIVE-25261)：RetryingHMSHandler 應使用目標的簡短描述來包裝 MetaException | | 錯誤修正 | [HIVE-24792](https://issues.apache.org/jira/browse/HIVE-24792)：操作中可能出現執行緒洩漏 | | 錯誤修正 | [HIVE-23409](https://issues.apache.org/jira/browse/HIVE-23409)：如果 TezSession 應用程式因時間軸服務關閉而重新開啟失敗，則 SessionPool 中的預設 TezSession 將在重試後關閉 | | 錯誤修正 | [HIVE-23615](https://issues.apache.org/jira/browse/HIVE-23615)：不要在 Beeline 命令類別中使用空指標 | | 錯誤修正 | [HIVE-24849](https://issues.apache.org/jira/browse/HIVE-24849)：在位置具有大量檔案時，建立外部資料表通訊端逾時 (影響 3.1.2) | | 錯誤修正 | [HIVE-25209](https://issues.apache.org/jira/browse/HIVE-25209)：使用 SUM 函數的 SELECT 查詢產生非預期的結果 | | 錯誤修正 | [HIVE-23666](https://issues.apache.org/jira/browse/HIVE-23666)：當 groupby 運算子沒有設定分組時，會略過 checkHashModeEfficiency | | 錯誤修正 | [HIVE-23873](https://issues.apache.org/jira/browse/HIVE-23873)：當 CBO 關閉時，使用 NPE 查詢 Hive JDBCStorageHandler 資料表失敗 | | 錯誤修正 | [HIVE-24149](https://issues.apache.org/jira/browse/HIVE-24149)：HiveStreamingConnection 不關閉 HMS 連線 | | 錯誤修正 | [HIVE-25561](https://issues.apache.org/jira/browse/HIVE-25561)：已刪除的任務不應遞交檔案。(影響 2.x 和 3.x 版本) | | 錯誤修正 | [HIVE-25683](https://issues.apache.org/jira/browse/HIVE-25683)：在 AcidUtils.isRawFormatFile 中關閉讀取器 | | 錯誤修正 | [HIVE-24294](https://issues.apache.org/jira/browse/HIVE-24294)：TezSessionPool 工作階段可能會擲出 AssertionError | | 錯誤修正 | [HIVE-24182](https://issues.apache.org/jira/browse/HIVE-24182)：永久 UDF 存在 Ranger 授權問題 | | 錯誤修正 | [HIVE-22805](https://issues.apache.org/jira/browse/HIVE-22805)：使用條件陣列或映射的向量化未實作並擲出錯誤 | | 錯誤修正 | [HIVE-22828](https://issues.apache.org/jira/browse/HIVE-22828)：Decimal64：NVL 和 CASE 陳述式隱含地將 decimal64 轉換為 128 | | 錯誤修正 | [HIVE-21398](https://issues.apache.org/jira/browse/HIVE-21398)：具有預估統計資料的資料欄不應視為唯一金鑰 | | 錯誤修正 | [HIVE-22490](https://issues.apache.org/jira/browse/HIVE-22490)：在路徑中新增具有特殊字元的 jar 擲出錯誤 | | 錯誤修正 | [HIVE-22700](https://issues.apache.org/jira/browse/HIVE-22700)：未經授權時，壓縮可能會洩漏記憶體 | | 錯誤修正 | [HIVE-22053](https://issues.apache.org/jira/browse/HIVE-22053)：建立函數時，函數名稱未標準化 | | 錯誤修正 | [HIVE-22595](https://issues.apache.org/jira/browse/HIVE-22595)：在具有外部結構描述的 Avro 資料表上，動態分割區插入失敗 | | 錯誤修正 | [HIVE-21795](https://issues.apache.org/jira/browse/HIVE-21795)：在分割的資料表上進行 mapjoin 時，彙總摘要資料列可能會遺失 | | 錯誤修正 | [HIVE-22987](https://issues.apache.org/jira/browse/HIVE-22987)：當 DataTypePhysicalVariation 為 Null 時，VectorCoalesce 中出現 ClassCastException | | 錯誤修正 | [HIVE-22219](https://issues.apache.org/jira/browse/HIVE-22219)：關閉節點管理器會阻止重新啟動 LLAP 服務 | | 錯誤修正 | [HIVE-21793](https://issues.apache.org/jira/browse/HIVE-21793)：即使 hive.stats.fetch.column.stats 設定為 false，CBO 也會擷取資料欄統計資料 | | 錯誤修正 | [HIVE-22163](https://issues.apache.org/jira/browse/HIVE-22163)：CBO：啟用 CBO 會開啟統計資料預估，即使停用預估亦如此 | | 錯誤修正 | [HIVE-18735](https://issues.apache.org/jira/browse/HIVE-18735)：像遺失交易屬性一樣建立資料表 | | 錯誤修正 | [HIVE-22433](https://issues.apache.org/jira/browse/HIVE-22433)：Hive JDBC 儲存處理常式：從 JDBC 資料來源的 BOOLEAN 和 TIMESTAMP DataType 擷取的結果不正確 | | 錯誤修正 | [HIVE-19430](https://issues.apache.org/jira/browse/HIVE-19430)：大量待處理事件上存在 ObjectStore.cleanNotificationEvents OutOfMemory | | 錯誤修正 | [HIVE-20785](https://issues.apache.org/jira/browse/HIVE-20785)：JDBC DatabaseMetaData.getPrimaryKeys 方法中存在錯誤的金鑰名稱 | | 錯誤修正 | [HIVE-16116](https://issues.apache.org/jira/browse/HIVE-16116)：當 beeline.properties 中存在 beeline.hiveconfvariables={} 時，beeline 會擲出 NPE | | 錯誤修正 | [HIVE-20066](https://issues.apache.org/jira/browse/HIVE-20066)：將 hive.load.data.owner 與完整主體進行比較 | | 錯誤修正 | [HIVE-20489](https://issues.apache.org/jira/browse/HIVE-20489)：說明查詢停止回應的計畫 | | 錯誤修正 | [HIVE-21033](https://issues.apache.org/jira/browse/HIVE-21033)：忘記關閉操作會切斷更多的 HiveServer2 輸出 | | 錯誤修正 | [HIVE-19888](https://issues.apache.org/jira/browse/HIVE-19888)：來自 SessionState 的誤導性「將忽略 METASTORE\_FILTER\_HOOK」警告 | | 錯誤修正 | [HIVE-20303](https://issues.apache.org/jira/browse/HIVE-20303)：INSERT OVERWRITE TABLE db.table PARTITION (...) IF NOT EXISTS 擲出 InvalidTableException | | 錯誤修正 | [HIVE-16144](https://issues.apache.org/jira/browse/HIVE-16144)：CompactionInfo 沒有 equals/hashCode，但在 Set 中使用 | | 錯誤修正 | [HIVE-20818](https://issues.apache.org/jira/browse/HIVE-20818)：使用 WHERE 子查詢建立的檢視會將子查詢中參考的檢視視為直接輸入 | | 錯誤修正 | [HIVE-21005](https://issues.apache.org/jira/browse/HIVE-21005)：LLAP：每次分割讀取更多條紋會洩漏 ZlibCodecs | | 錯誤修正 | [HIVE-20771](https://issues.apache.org/jira/browse/HIVE-20771)：LazyBinarySerDe 在空結構上失敗。 | | 錯誤修正 | [HIVE-18852](https://issues.apache.org/jira/browse/HIVE-18852)：更改資料表驗證中出現誤導性錯誤訊息 | | 錯誤修正 | [HIVE-21124](https://issues.apache.org/jira/browse/HIVE-21124)：HPL/SQL 不支援 CREATE TABLE LIKE 陳述式 | | 錯誤修正 | [HIVE-20935](https://issues.apache.org/jira/browse/HIVE-20935)：在 EC2 中上傳 llap 套件 tarball 失敗，導致 LLAP 服務啟動失敗 | | 錯誤修正 | [HIVE-20409](https://issues.apache.org/jira/browse/HIVE-20409)：Hive ACID：更新/刪除/合併無法清理 hdfs 暫存目錄 | | 錯誤修正 | [HIVE-20570](https://issues.apache.org/jira/browse/HIVE-20570)：具有 hive.optimize.union.remove=true 的 Union ALL 計畫不正確 | | 錯誤修正 | [HIVE-20421](https://issues.apache.org/jira/browse/HIVE-20421)：hive-default.xml.template 中存在非法字元實體 '\\b' | | 錯誤修正 | [HIVE-19133](https://issues.apache.org/jira/browse/HIVE-19133)：HS2 WebUI 分階段效能指標未正確顯示 | | 錯誤修正 | [HIVE-18977](https://issues.apache.org/jira/browse/HIVE-18977)：使用 JDO 和直接 SQL 列出分割區會傳回不同的結果 | | 錯誤修正 | [HIVE-20034](https://issues.apache.org/jira/browse/HIVE-20034)：復原 MetaStore 例外狀況處理變更以實現回溯相容性 | | 錯誤修正 | [HIVE-20672](https://issues.apache.org/jira/browse/HIVE-20672)：LlapTaskSchedulerService 中的日誌記錄執行緒應每隔固定間隔報告一次 | | 錯誤修正 | [HIVE-12812](https://issues.apache.org/jira/browse/HIVE-12812)：預設啟用 mapred.input.dir.recursive 以支援與彙總函數的聯集 | | 錯誤修正 | [HIVE-20147](https://issues.apache.org/jira/browse/HIVE-20147)：Hive 串流擷取滿足於同步日誌記錄 | | 錯誤修正 | [HIVE-19203](https://issues.apache.org/jira/browse/HIVE-19203)：HiveMetaStore 中的執行緒安全問題 | | 錯誤修正 | [HIVE-20091](https://issues.apache.org/jira/browse/HIVE-20091)：Tez：為 FileSinkOperator 輸出新增安全憑證 | | 錯誤修正 | [HIVE-16906](https://issues.apache.org/jira/browse/HIVE-16906)：在連接至 ATS 之前，Hive ATSHook 應檢查 yarn.timeline-service.enabled | | 錯誤修正 | [HIVE-20714](https://issues.apache.org/jira/browse/HIVE-20714)：單一屬性的 SHOW tblproperties 將傳回名稱資料欄中的值 | | 錯誤修正 | [HIVE-24730](https://issues.apache.org/jira/browse/HIVE-24730)：Shims 類別以無提示的方式覆寫來自 hive-site.xml 和 tez-site.xml 的值 | | 錯誤修正 | [HIVE-22055](https://issues.apache.org/jira/browse/HIVE-22055)：從文字檔案載入資料之後，選取計數提供的結果不正確 |