使用 Adaptive Query Execution

Spark 3.0 和更新版本包含稱為 的額外最佳化層。 Adaptive Query Execution (AQE)它會根據查詢執行時間期間收集的指標來最佳化查詢。它使用執行時間統計資料來挑選最有效率的執行計畫。此功能預設為在 3.2.0 版和更新Apache Spark版本中啟用。您可以將Spark組態設定為 以將其關閉spark.sql.adaptive.enabled=false。AQE 有三個主要功能：結合隨機播放後分割區、將排序合併聯結轉換為廣播聯結，以及最佳化偏斜聯結。