Menyetel Spark SQL kueri untuk dan pekerjaan EMR AWS Glue Amazon Spark

Phani Alapaty dan Ravikiran Rao, Amazon Web Services ()AWS

Januari 2024 (sejarah dokumen)

Spark SQLadalah Apache Spark modul untuk memproses data terstruktur. Amazon EMR dan AWS Gluepekerjaan digunakan Spark SQL untuk memproses, mengubah, dan memuat data. Berbeda dengan API dasar Spark resilient distributed dataset (RDD), Spark SQL antarmuka memberikan lebih banyak informasi Spark tentang struktur data dan komputasi yang dilakukan. Secara internal, Spark SQL gunakan informasi tambahan ini untuk melakukan optimasi kueri tambahan. Ada beberapa cara untuk berinteraksiSpark SQL, termasuk SQL dan Dataset API.

Bergabung dengan data adalah salah satu operasi paling umum dan penting yang dapat Anda lakukan saat mengekstraksi, mengubah, atau memuat data ke dalam penyimpanan objek atau database. Saat bergabung, Anda perlu mempertimbangkan kinerja. Ada beberapa skenario, seperti transfer jaringan besar, ketika beberapa operasi gabungan, analisis, atau agregat kehabisan memori. Hal ini dapat menyebabkan AWS Glue Spark pekerjaan gagal.

Panduan ini memberikan praktik terbaik yang membantu Anda menyesuaikan kueri Spark SQL bergabung untuk AWS Glue atau pekerjaan EMR Amazon. Sparkmenyediakan banyak opsi konfigurasi yang meningkatkan kinerja Spark SQL beban kerja. Penyesuaian ini dapat dilakukan secara terprogram, atau Anda dapat menerapkannya di tingkat global dengan menggunakan perintah. spark-submit Panduan ini menjelaskan beberapa konfigurasi ini sehingga Anda dapat meningkatkan atau menyempurnakan kinerja Spark SQL kueri dan aplikasi Anda. Rekomendasi dalam panduan ini didasarkan pada konfigurasi yang digunakan Layanan AWS Profesional untuk meningkatkan kinerja Spark SQL kueri dan aplikasi.

Audiens yang dituju

Panduan ini membantu arsitek, insinyur data, ilmuwan data, dan pengembang memahami opsi Spark SQL konfigurasi yang meningkatkan kinerja Spark SQL kueri.