使用 自适应查询执行

Spark3.0 及更高版本包括一个名为的额外优化层Adaptive Query Execution (AQE)。它根据查询运行时收集的指标来优化查询。它使用运行时统计数据来选择最高效的执行计划。在 3.2.0 及更高Apache Spark版本中，此功能默认处于启用状态。您可以通过将Spark配置设置为，将其关闭spark.sql.adaptive.enabled=false。AQE 有三个主要功能：合并洗牌后的分区、将排序合并联接转换为广播联接以及优化倾斜联接。