Ajuste de Spark SQL consultas AWS Glue e trabalhos do Amazon EMR Spark

Phani Alapaty e Ravikiran Rao, Amazon Web Services ()AWS

Janeiro de 2024 (histórico do documento)

Spark SQLé um Apache Spark módulo para processamento de dados estruturados. O Amazon EMR e o AWS GlueJobs usam Spark SQL para processar, transformar e carregar dados. Diferentemente da API básica de conjunto de dados distribuído Spark resiliente (RDD), as Spark SQL interfaces fornecem mais informações Spark sobre a estrutura dos dados e a computação que está sendo executada. Internamente, Spark SQL usa essas informações extras para realizar otimizações adicionais de consulta. Há várias maneiras de interagir comSpark SQL, incluindo SQL e a API de conjunto de dados.

Unir dados é uma das operações mais comuns e importantes que você pode realizar ao extrair, transformar ou carregar dados em bancos de dados ou armazenamentos de objetos. Ao ingressar, você precisa considerar o desempenho. Há vários cenários, como grandes transferências de rede, quando algumas das operações de junção, análise ou agregação ficam sem memória. Isso pode fazer com que o AWS Glue Spark trabalho falhe.

Este guia fornece as melhores práticas que ajudam você a ajustar consultas de Spark SQL junção AWS Glue ou trabalhos no Amazon EMR. Sparkfornece muitas opções de configuração que melhoram o desempenho da Spark SQL carga de trabalho. Esses ajustes podem ser feitos programaticamente ou você pode aplicá-los em nível global usando o spark-submit comando. Este guia explica algumas dessas configurações para que você possa melhorar ou ajustar o desempenho de suas Spark SQL consultas e aplicativos. As recomendações deste guia são baseadas nas configurações que o AWS Professional Services usa para melhorar o desempenho de Spark SQL consultas e aplicativos.

Público-alvo

Este guia ajuda arquitetos, engenheiros de dados, cientistas de dados e desenvolvedores a entender as opções de Spark SQL configuração que melhoram o desempenho das Spark SQL consultas.