Ottimizzazione delle Spark SQL query e dei job di AWS Glue Amazon EMR Spark

Phani Alapaty e Ravikiran Rao, Amazon Web Services ()AWS

Gennaio 2024 (storia del documento)

Spark SQLè un Apache Spark modulo per l'elaborazione di dati strutturati. Amazon EMR e AWS Gluejob vengono utilizzati Spark SQL per elaborare, trasformare e caricare dati. A differenza dell'API di base Spark Resilient Distributed Dataset (RDD), le Spark SQL interfacce forniscono maggiori Spark informazioni sulla struttura dei dati e sul calcolo eseguito. Internamente, Spark SQL utilizza queste informazioni aggiuntive per eseguire ottimizzazioni aggiuntive delle query. Esistono diversi modi per interagireSpark SQL, tra cui SQL e l'API Dataset.

L'unione dei dati è una delle operazioni più comuni e importanti che è possibile eseguire durante l'estrazione, la trasformazione o il caricamento di dati in archivi di oggetti o database. Quando ti iscrivi, devi considerare le prestazioni. Esistono diversi scenari, ad esempio trasferimenti di rete di grandi dimensioni, in cui alcune operazioni di unione, analisi o aggregazione esauriscono la memoria. Ciò può causare il fallimento del AWS Glue Spark processo.

Questa guida fornisce le best practice che ti aiutano a ottimizzare le query di Spark SQL join per i AWS Glue nostri lavori in Amazon EMR. Sparkoffre molte opzioni di configurazione che migliorano le prestazioni del carico di lavoro. Spark SQL Queste regolazioni possono essere eseguite a livello di codice oppure è possibile applicarle a livello globale utilizzando il comando. spark-submit Questa guida spiega alcune di queste configurazioni in modo da poter migliorare o ottimizzare le prestazioni delle query e delle applicazioni. Spark SQL I consigli contenuti in questa guida si basano sulle configurazioni utilizzate da AWS Professional Services per migliorare le prestazioni di query e applicazioni. Spark SQL

Destinatari principali

Questa guida aiuta architetti, ingegneri dei dati, data scientist e sviluppatori a comprendere le opzioni di Spark SQL configurazione che migliorano le prestazioni delle Spark SQL query.