Gunakan EMRFS committer S3-optimized

EMRFS S3-optimized committer adalah OutputCommitterimplementasi alternatif yang dioptimalkan untuk menulis file ke Amazon S3 saat menggunakan EMRFS. S3-optimized Komitter EMRFS meningkatkan kinerja aplikasi dengan menghindari daftar dan mengganti nama operasi yang dilakukan di Amazon S3 selama fase job dan task commit. Committer tersedia dengan Amazon EMR rilis 5.19.0 dan yang lebih baru, dan diaktifkan secara default dengan Amazon EMR 5.20.0 dan yang lebih baru. Committer digunakan untuk pekerjaan Spark yang menggunakan Spark, DataFrames, atau Datasets. Dimulai dengan Amazon EMR 6.4.0, committer ini dapat digunakan untuk semua format umum termasuk parket, ORC, dan format berbasis teks (termasuk CSV dan JSON). Untuk rilis sebelum Amazon EMR 6.4.0, hanya format Parket yang didukung. Ada keadaan di mana komite tidak digunakan. Untuk informasi selengkapnya, lihat Persyaratan untuk komitter EMRFS S3-optimized.