本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR 6.7.0 – Hive 版本備註
Amazon EMR 6.7.0 – Hive 變更
| Type | 說明 |
|---|---|
| 功能 | Amazon EMR Hive 與 LakeFormation 整合 |
| 功能 | 適用於 Hive EMRFS Amazon S3 優化的遞交程式的其他稽核日誌記錄。Hive 組態:hive.blobstore.output-committer.logging,預設值:false |
| 功能 | 如果在插入覆寫時刪除目標目錄,選擇結果為空,會導致未分割的資料表/靜態分割區的行為與 Hive 2.x 類似。Hive 組態:hive.emr.iow.clean.target.dir,預設值:false |
| 錯誤 | 修正了在將 Hive EMRFS Amazon S3 優化的遞交程式與分割區儲存貯體排序搭配使用時,出現的間歇性查詢失敗。 |
| 升級 | 已將 Hive 版本升級至 3.1.3。如需詳細資訊,請參閱 Apache Hive 3.1.3 版本備註 |
| 升級 | 已將 Parquet 升級至 1.12.2 |
| 向後移植 | HIVE-20065 |
| 向後移植 | HIVE-20071 |
| 向後移植 | HIVE-20607 |
| 向後移植 | HIVE-20740 |
| 向後移植 | HIVE-20961 |
| 向後移植 | HIVE-22059 |
| 向後移植 | HIVE-22351 |
| 向後移植 | HIVE-23534 |
| 向後移植 | HIVE-24048 |
| 向後移植 | HIVE-24768 |
| 向後移植 | HIVE-24816 |
| 向後移植 | HIVE-25971 |
| 向後移植 | HIVE-26036 |
Amazon EMR 6.7.0 – Hive 已知問題
-
如果使用視窗化函數對與聯結相同的資料欄進行查詢,則可能會導致如 HIVE-25278
中報告的轉換無效問題,並導致查詢結果不正確或查詢失敗。解決方法是在查詢層級為此類查詢停用 CBO。修正程式將在 6.7.0 之後的 Amazon EMR 發行版本中提供。如需詳細資訊,請聯絡 AWS 支援。 在 Amazon EMR 6.6.0 至 6.9.x 中,具有動態分割區和 ORDER BY 或 SORT BY 子句的 INSERT 查詢將始終具有兩個縮減器。此問題是因 OSS 變更 HIVE-20703
所造成,此變更會將動態排序分割區優化置於成本型決策下。如果您的工作負載不需要對動態分割區進行排序,建議將 hive.optimize.sort.dynamic.partition.threshold屬性設定為-1,以停用新功能並取得計算正確的縮減器數量。此問題已作為 HIVE-22269的一部分在 OSS Hive 中修正,並已在 Amazon EMR 6.10.0 中修正。