Optimisation Spark SQL des requêtes AWS Glue et des tâches Amazon EMR Spark

Phani Alapaty et Ravikiran Rao, Amazon Web Services ()AWS

Janvier 2024 (historique du document)

Spark SQLest un Apache Spark module de traitement de données structurées. Amazon EMR et AWS GlueJobs sont utilisés Spark SQL pour traiter, transformer et charger des données. Contrairement à l'API RDD (SparkResilient Distributed Dataset) de base, les Spark SQL interfaces fournissent davantage d'informations Spark sur la structure des données et le calcul effectué. En interne, Spark SQL utilise ces informations supplémentaires pour effectuer des optimisations de requêtes supplémentaires. Il existe plusieurs manières d'interagir avecSpark SQL, notamment, le SQL et l'API Dataset.

La jonction de données est l'une des opérations les plus courantes et les plus importantes que vous puissiez effectuer lors de l'extraction, de la transformation ou du chargement de données dans des magasins d'objets ou des bases de données. Lorsque vous vous inscrivez, vous devez tenir compte des performances. Il existe plusieurs scénarios, tels que des transferts réseau importants, lorsque certaines opérations de jointure, d'analyse ou d'agrégation manquent de mémoire. Cela peut entraîner l'échec de la AWS Glue Spark tâche.

Ce guide fournit les meilleures pratiques qui vous aident à optimiser les requêtes de Spark SQL jointure pour les AWS Glue tâches Amazon EMR. Sparkfournit de nombreuses options de configuration qui améliorent les performances de la Spark SQL charge de travail. Ces ajustements peuvent être effectués par programmation ou vous pouvez les appliquer au niveau global à l'aide de la spark-submit commande. Ce guide explique certaines de ces configurations afin que vous puissiez améliorer ou affiner les performances de vos Spark SQL requêtes et applications. Les recommandations de ce guide sont basées sur les configurations utilisées par AWS Professional Services pour améliorer les performances des Spark SQL requêtes et des applications.

Public visé

Ce guide aide les architectes, les ingénieurs de données, les scientifiques des données et les développeurs à comprendre les options de Spark SQL configuration qui améliorent les performances des Spark SQL requêtes.