View a markdown version of this page

Verwenden von Adaptive Query Execution - AWS Prescriptive Guidance

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden von Adaptive Query Execution

Spark3.0 und höher beinhalten eine zusätzliche Optimierungsebene, die so genannte Adaptive Query Execution (AQE). Sie optimiert Abfragen auf der Grundlage der Metriken, die während der Laufzeit der Abfrage erfasst werden. Es verwendet die Laufzeitstatistiken, um den effizientesten Ausführungsplan auszuwählen. Diese Funktion ist in Apache Spark Version 3.2.0 und höher standardmäßig aktiviert. Sie können sie ausschalten, indem Sie die Spark Konfiguration auf spark.sql.adaptive.enabled=false einstellen. AQE hat drei Hauptfunktionen: das Zusammenführen von Partitionen nach dem Zufügen von Partitionen, das Konvertieren von Sort-Merge-Joins in Broadcast-Joins und das Optimieren von Skew-Joins.