View a markdown version of this page

Amazon EMR 6.8.0 – Hive 版本備註 - Amazon EMR
Hive 變更 已知問題

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EMR 6.8.0 – Hive 版本備註

Amazon EMR 6.8.0 – Hive 變更

Type 說明
改進項目 減少 msck 命令中的檔案系統呼叫。效能改進 (在 1 萬個以上的分割區上提高約 15-20 倍)
向後移植 HIVE-20678：HiveHBaseTableOutputFormat 應實作 HiveOutputFormat，以確保相容性
向後移植 HIVE-21040：msck 在樹狀目錄的最後一層列出不必要的檔案
向後移植 HIVE-21460：載入資料後再進行 select * 查詢會導致結果不正確
向後移植 HIVE-21660：在使用 union all 和 later view with explode 時結果錯誤
向後移植 HIVE-22505：ClassCastException 由錯誤的向量化運算子選擇導致
向後移植 HIVE-22513：篩選操作中轉換資料欄的持續傳播可能會導致不正確的結果
向後移植 HIVE-23435：完整的外部聯結結果遺失資料列
向後移植 HIVE-24209：啟用向量化時，NOT BETWEEN 運算的搜尋引數轉換不正確
向後移植 HIVE-24934：GenericUDFSQCountCheck 中不需要 VectorizedExpressions 註釋
向後移植 HIVE-25278：HiveProjectJoinTransposeRule 可能會使用視窗化表達式進行無效轉換
向後移植 HIVE-25505：如果第一行為空，則 header. skip.header.line.count 的結果不正確
向後移植 HIVE-26080：將 accumulo-core 升級至 1.10.1
向後移植 HIVE-26235：二進位資料欄上的 OR 條件傳回空結果
錯誤 修正在啟動期間 stderr 中的多個 SLF4J 繫結警告日誌
錯誤 修正當分割區和資料表位於不同檔案系統時，SHOW TABLE EXTENDED 查詢失敗並顯示 Wrong FS 錯誤的問題。

Amazon EMR 6.8.0 – Hive 已知問題

  • 在 Amazon EMR 6.6.0 至 6.9.x 中，具有動態分割區和 ORDER BY 或 SORT BY 子句的 INSERT 查詢將始終具有兩個縮減器。此問題是因 OSS 變更 HIVE-20703 所造成，此變更會將動態排序分割區優化置於成本型決策下。如果您的工作負載不需要對動態分割區進行排序，建議將 hive.optimize.sort.dynamic.partition.threshold 屬性設定為 -1，以停用新功能並取得計算正確的縮減器數量。此問題已作為 HIVE-22269 的一部分在 OSS Hive 中修正，並已在 Amazon EMR 6.10.0 中修正。