As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Ajuste de Spark SQL consultas AWS Glue e trabalhos do Amazon EMR Spark
<a name="introduction"></a>

*Phani Alapaty e Ravikiran Rao, Amazon Web Services ()AWS*

*Janeiro de 2024* ([histórico do documento](doc-history.md))

[https://spark.apache.org/sql/](https://spark.apache.org/sql/)é um Apache Spark módulo para processamento de dados estruturados. [O Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html) e o [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html)Jobs usam Spark SQL para processar, transformar e carregar dados. Diferentemente da API básica de conjunto de dados distribuído Spark resiliente (RDD), as Spark SQL interfaces fornecem mais informações Spark sobre a estrutura dos dados e a computação que está sendo executada. Internamente, Spark SQL usa essas informações extras para realizar otimizações adicionais de consulta. Há várias maneiras de interagir comSpark SQL, incluindo SQL e a API de conjunto de dados.

Unir dados é uma das operações mais comuns e importantes que você pode realizar ao extrair, transformar ou carregar dados em bancos de dados ou armazenamentos de objetos. Ao ingressar, você precisa considerar o desempenho. Há vários cenários, como grandes transferências de rede, quando algumas das operações de junção, análise ou agregação ficam sem memória. Isso pode fazer com que o AWS Glue Spark trabalho falhe.

Este guia fornece as melhores práticas que ajudam você a ajustar consultas de Spark SQL junção AWS Glue ou trabalhos no Amazon EMR. Sparkfornece muitas opções de configuração que melhoram o desempenho da Spark SQL carga de trabalho. Esses ajustes podem ser feitos programaticamente ou você pode aplicá-los em nível global usando o `spark-submit` comando. Este guia explica algumas dessas configurações para que você possa melhorar ou ajustar o desempenho de suas Spark SQL consultas e aplicativos. As recomendações deste guia são baseadas nas configurações que o AWS Professional Services usa para melhorar o desempenho de Spark SQL consultas e aplicativos.

## Público-alvo
<a name="intended-audience"></a>

Este guia ajuda arquitetos, engenheiros de dados, cientistas de dados e desenvolvedores a entender as opções de Spark SQL configuração que melhoram o desempenho das Spark SQL consultas.