Optimieren von Spark SQL Abfragen für AWS Glue und Amazon EMR-Jobs Spark

Phani Alapaty und Ravikiran Rao, Amazon Web Services ()AWS

Januar 2024 (Geschichte der Dokumente)

Spark SQList ein Apache Spark Modul zur Verarbeitung strukturierter Daten. Amazon EMR und AWS GlueJobs werden Spark SQL zum Verarbeiten, Transformieren und Laden von Daten verwendet. Im Gegensatz zur grundlegenden Spark Resilient Distributed Dataset (RDD) -API bieten die Spark SQL Schnittstellen mehr Informationen Spark über die Struktur der Daten und die ausgeführte Berechnung. Spark SQLVerwendet diese zusätzlichen Informationen intern, um zusätzliche Abfrageoptimierungen durchzuführen. Es gibt mehrere InteraktionsmöglichkeitenSpark SQL, darunter SQL und die Dataset-API.

Das Zusammenführen von Daten ist eine der häufigsten und wichtigsten Operationen, die Sie beim Extrahieren, Transformieren oder Laden von Daten in Objektspeicher oder Datenbanken ausführen können. Beim Verbinden müssen Sie die Leistung berücksichtigen. Es gibt mehrere Szenarien, wie z. B. große Netzwerkübertragungen, wenn für einige der Verbindungs-, Analyse- oder Aggregationsvorgänge nicht genügend Arbeitsspeicher zur Verfügung steht. Dies kann dazu führen, dass der AWS Glue Spark Job fehlschlägt.

Dieses Handbuch enthält bewährte Methoden, mit denen Sie Spark SQL Verbindungsabfragen für AWS Glue Amazon EMR-Jobs optimieren können. Sparkbietet viele Konfigurationsoptionen, die die Leistung des Spark SQL Workloads verbessern. Diese Anpassungen können programmgesteuert vorgenommen werden, oder Sie können sie mithilfe des Befehls auf globaler Ebene anwenden. spark-submit In diesem Handbuch werden einige dieser Konfigurationen erläutert, sodass Sie die Leistung Ihrer Spark SQL Abfragen und Anwendungen verbessern oder optimieren können. Die Empfehlungen in diesem Handbuch basieren auf Konfigurationen, die AWS Professional Services verwendet, um die Leistung von Spark SQL Abfragen und Anwendungen zu verbessern.

Zielgruppe

Dieses Handbuch hilft Architekten, Dateningenieuren, Datenwissenschaftlern und Entwicklern, die Spark SQL Konfigurationsoptionen zu verstehen, die die Leistung von Spark SQL Abfragen verbessern.