Uso de Adaptive Query Execution

SparkLa versión 3.0 y las versiones posteriores incluyen una capa adicional de optimización que se denomina Adaptive Query Execution (AQE). Optimiza las consultas en función de las métricas que se recopilan durante el tiempo de ejecución de la consulta. Utiliza las estadísticas de tiempo de ejecución para elegir el plan de ejecución más eficiente. Esta función está habilitada de forma predeterminada en la Apache Spark versión 3.2.0 y versiones posteriores. Puede desactivarla configurando la Spark configuración en. spark.sql.adaptive.enabled=false El AQE tiene tres características principales: unir particiones después de la reorganización, convertir las uniones de clasificación y fusión en uniones de difusión y optimizar las uniones asimétricas.