Uso di Adaptive Query Execution

Spark3.0 e versioni successive includono un ulteriore livello di ottimizzazione chiamato Adaptive Query Execution (AQE). Ottimizza le query in base alle metriche raccolte durante l'esecuzione delle query. Utilizza le statistiche di runtime per scegliere il piano di esecuzione più efficiente. Questa funzionalità è abilitata per impostazione predefinita nella Apache Spark versione 3.2.0 e successive. È possibile disattivarla impostando la Spark configurazione suspark.sql.adaptive.enabled=false. AQE ha tre caratteristiche principali: la fusione delle partizioni post-shuffle, la conversione dei join sort-merge in join broadcast e l'ottimizzazione degli skew join.