Usar o Adaptive Query Execution

Spark3.0 e versões posteriores incluem uma camada adicional de otimização chamada Adaptive Query Execution (AQE). Ele otimiza as consultas com base nas métricas coletadas durante o tempo de execução da consulta. Ele usa as estatísticas de tempo de execução para escolher o plano de execução mais eficiente. Esse recurso é ativado por padrão na Apache Spark versão 3.2.0 e posterior. Você pode desativá-lo definindo a Spark configuração comospark.sql.adaptive.enabled=false. O AQE tem três recursos principais: coalescência de partições pós-aleatório, conversão de junções de classificação e mesclagem em junções de transmissão e otimização de junções inclinadas.