Utilisation de Adaptive Query Execution

SparkLa version 3.0 et les versions ultérieures incluent une couche d'optimisation supplémentaire appelée Adaptive Query Execution (AQE). Il optimise les requêtes en fonction des métriques collectées lors de l'exécution des requêtes. Il utilise les statistiques d'exécution pour sélectionner le plan d'exécution le plus efficace. Cette fonctionnalité est activée par défaut dans les Apache Spark versions 3.2.0 et ultérieures. Vous pouvez le désactiver en réglant la Spark configuration surspark.sql.adaptive.enabled=false. L'AQE possède trois fonctionnalités principales : la fusion de partitions post-shuffle, la conversion des jointures par triage en jointures de diffusion et l'optimisation des jointures asymétriques.