Spark SQLAjustar consultas para AWS Glue trabajos de Amazon EMR Spark

Phani Alapaty y Ravikiran Rao, Amazon Web Services ()AWS

Enero de 2024 (historia del documento)

Spark SQLes un Apache Spark módulo para procesar datos estructurados. Amazon EMR y AWS GlueJobs se utilizan Spark SQL para procesar, transformar y cargar datos. A diferencia de la API básica de conjuntos de datos distribuidos Spark resilientes (RDD), las Spark SQL interfaces proporcionan más información Spark sobre la estructura de los datos y el cálculo que se realiza. Internamente, Spark SQL utiliza esta información adicional para realizar optimizaciones de consultas adicionales. Hay varias formas de interactuar con ellasSpark SQL, incluidas SQL y la API Dataset.

La unión de datos es una de las operaciones más comunes e importantes que se pueden realizar al extraer, transformar o cargar datos en almacenes de objetos o bases de datos. Al unirse, debe tener en cuenta el rendimiento. Existen varios escenarios, como grandes transferencias de red, cuando algunas de las operaciones de unión, análisis o agregación se quedan sin memoria. Esto puede provocar un error en el AWS Glue Spark trabajo.

Esta guía proporciona las prácticas recomendadas que le ayudan a ajustar las consultas de Spark SQL unión para los AWS Glue trabajos de Amazon EMR. Sparkproporciona muchas opciones de configuración que mejoran el rendimiento de la Spark SQL carga de trabajo. Estos ajustes se pueden realizar mediante programación o se pueden aplicar a nivel global mediante el spark-submit comando. En esta guía se explican algunas de estas configuraciones para que pueda mejorar o ajustar el rendimiento de sus Spark SQL consultas y aplicaciones. Las recomendaciones de esta guía se basan en las configuraciones que utiliza AWS Professional Services para mejorar el rendimiento de las Spark SQL consultas y las aplicaciones.

Destinatarios previstos

Esta guía ayuda a los arquitectos, ingenieros de datos, científicos de datos y desarrolladores a comprender las opciones de Spark SQL configuración que mejoran el rendimiento de Spark SQL las consultas.