Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Aktifkan EMRFS S3-optimized committer untuk Amazon EMR 5.19.0

Jika Anda menggunakan Amazon EMR 5.19.0, Anda dapat secara manual mengatur spark.sql.parquet.fs.optimized.committer.optimization-enabled Properti untuk true ketika Anda membuat cluster atau dari dalam Spark jika Anda menggunakan Amazon EMR.

Mengaktifkan S3-optimized committer EMRFS saat membuat cluster

Gunakan spark-defaults klasifikasi konfigurasi untuk mengatur spark.sql.parquet.fs.optimized.committer.optimization-enabled Properti untuk true. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.

Mengaktifkan komitter EMRFS S3-optimized dari Spark

Anda dapat mengatur spark.sql.parquet.fs.optimized.committer.optimization-enabled ke true dengan hard-coding itu dalam SparkConf, melewatinya sebagai --conf parameter dalam shell Spark atau spark-submit dan spark-sql, atau di conf/spark-defaults.conf. Untuk informasi lebih lanjut, lihat Konfigurasi percikan dalam dokumentasi Apache Spark.

Contoh berikut menunjukkan cara mengaktifkan committer saat menjalankan perintah spark-sql.

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"