View a markdown version of this page

Amazon EMR 6.7.0 – Versionshinweise zu Hive - Amazon EMR
Änderungen bei HiveBekannte Probleme

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon EMR 6.7.0 – Versionshinweise zu Hive

Amazon EMR 6.7.0 – Hive-Änderungen

Typ Description
Feature Amazon EMR Hive-Integration mit. LakeFormation
Feature Zusätzliche Auditprotokollierung für den für Hive EMRFS Amazon S3 optimierten Committer. Hive-Konfiguration: hive.blobstore.output-committer.logging, Standard: false
Feature Das Zielverzeichnis wurde beim Einfügen gelöscht und mit leerem Auswahlresultat auf einer unpartitionierten table/static Partition überschrieben, sodass es sich ähnlich wie Hive 2.x verhält. Hive-Konfiguration: hive.emr.iow.clean.target.dir, Standard: false
Fehler Es wurde ein zeitweiliger Abfragefehler bei der Verwendung des für Amazon S3 optimierten Hive EMRFS Committers mit Partitions-Bucket-Sortierung behoben.
Upgrade Upgrade von Hive auf Version 3.1.3. Weitere Informationen finden Sie in den Versionshinweisen zu Apache Hive 3.1.3.
Upgrade Parquet wurde auf 1.12.2 aktualisiert.
Backport HIVE-20065: Metastore sollte sich nicht auf Jackson 1.x verlassen
Backport HIVE-20071: Migrieren Sie zu Jackson 2.x und verhindern Sie die Nutzung
Backport HIVE-20607: sollte verwendet werden, um direkte SQL-Abfragen auszuführen TxnHandler PreparedStatement
Backport HIVE-20740: Entfernen Sie die globale Sperre in der Methode.setConf ObjectStore
Backport HIVE-20961: NVL-Implementierung einstellen
Backport HIVE-22059: Hive-Exec-Jar enthält keine Jackson-Bibliothek (fasterxml)
Backport HIVE-22351: Korrigiert die falsche Verwendung von Threads in ObjectStore TestObjectStore
Backport HIVE-23534: NPE in #invoke beim Abfangen ohne Nachricht RetryingMetaStoreClient MetaException
Backport HIVE-24048: Harmonisieren Sie die Jackson-Komponenten auf Version 2.10.latest – Hive
Backport HIVE-24768: Verwenden Sie jackson-bom überall für den Versionsersatz
Backport HIVE-24816: Aktualisieren Sie Jackson aufgrund von CVE-2020-25649 auf 2.10.5.1 oder 2.11.0+
Backport HIVE-25971: Das Herunterfahren der Tez-Aufgabe verzögert sich, weil der zwischengespeicherte Thread-Pool nicht geschlossen wurde
Backport HIVE-26036: NPE wurde durch get () in verursacht MTable ObjectStore

Amazon EMR 6.7.0 – Bekannte Probleme mit Hive

  • Abfragen mit Fensterfunktionen für dieselbe Spalte wie Join können zu ungültigen Transformationen führen, wie in HIVE-25278 gemeldet, und zu falschen Ergebnissen oder Abfragefehlern führen. Eine Problemumgehung bestünde darin, CBO für solche Abfragen auf Abfrageebene zu deaktivieren. Das Update wird in einer Amazon-EMR-Version nach 6.7.0 verfügbar sein. Für weitere Informationen wenden Sie sich an den Support. AWS

  • Bei Amazon EMR 6.6.0 bis 6.9.x haben INSERT-Abfragen mit dynamischer Partition und einer ORDER-BY- oder SORT-BY-Klausel immer zwei Reduzierungen. Dieses Problem wird durch die OSS-Änderung HIVE-20703 verursacht, die die Optimierung dynamischer Sortierpartitionen einer kostenbasierten Entscheidung unterstellt. Wenn Ihr Workload keine Sortierung dynamischer Partitionen erfordert, empfehlen wir Ihnen, die hive.optimize.sort.dynamic.partition.threshold-Eigenschaft auf -1 zu setzen, um das neue Feature zu deaktivieren und die korrekt berechnete Anzahl von Reduzierern zu erhalten. Dieses Problem wurde behoben in OSS Hive als Teil von HIVE-22269 und in Amazon EMR 6.10.0 behoben.