Meluncurkan aplikasi Spark dengan integrasi Amazon Redshift untuk Apache Spark - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Meluncurkan aplikasi Spark dengan integrasi Amazon Redshift untuk Apache Spark

Untuk menggunakan integrasi dengan EMR Serverless 6.9.0, teruskan dependensi Spark-Redshift yang diperlukan dengan pekerjaan Spark Anda. Gunakan --jars untuk menyertakan pustaka terkait konektor Redshift. Untuk mengakses lokasi file lain yang didukung oleh --jars opsi, lihat bagian Advanced Dependency Management dari dokumentasi Apache Spark.

  • spark-redshift.jar

  • spark-avro.jar

  • RedshiftJDBC.jar

  • minimal-json.jar

Amazon EMR merilis 6.10.0 dan yang lebih tinggi tidak memerlukan ketergantungan, dan secara otomatis menginstal minimal-json.jar dependensi lain ke setiap cluster secara default. Contoh berikut menunjukkan cara meluncurkan aplikasi Spark dengan integrasi Amazon Redshift untuk Apache Spark.

Amazon EMR 6.10.0 +

Luncurkan pekerjaan Spark di Amazon EMR Tanpa Server dengan integrasi Amazon Redshift untuk Apache Spark pada rilis EMR Tanpa Server 6.10.0 dan yang lebih tinggi.

spark-submit my_script.py
Amazon EMR 6.9.0

Untuk meluncurkan pekerjaan Spark di Amazon EMR Tanpa Server dengan integrasi Amazon Redshift untuk Apache Spark pada rilis EMR Tanpa Server 6.9.0, gunakan opsi seperti yang ditunjukkan pada contoh berikut. --jars Perhatikan bahwa jalur yang tercantum dengan --jars opsi adalah jalur default untuk file JAR.

--jars 
    /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,
    /usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,
    /usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,
    /usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar
spark-submit \
  --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,/usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar \
  my_script.py