Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
S3-optimized Komitter EMRFS dan unggahan multipart
Untuk menggunakan EMRFS S3-optimized committer, Anda harus mengaktifkan unggahan multipart untuk Amazon EMR. Unggahan multipart diaktifkan secara default. Anda dapat mengaktifkannya kembali jika diperlukan. Untuk informasi lebih lanjut, lihat Konfigurasi unggahan multipart untuk Amazon S3 di Amazon EMR.
S3-optimized Komitter EMRFS menggunakan karakteristik seperti transaksi dari unggahan multibagian untuk memastikan file yang ditulis oleh upaya tugas hanya muncul di lokasi keluaran pekerjaan pada saat tugas komit. Dengan menggunakan unggahan multibagian dengan cara ini, committer meningkatkan kinerja komit tugas melalui FileOutputCommitter algoritme default versi 2. Saat menggunakan EMRFS S3-optimized committer, ada beberapa perbedaan utama dari perilaku upload multipart tradisional yang perlu dipertimbangkan:
-
Unggahan multipart selalu dilakukan terlepas dari ukuran file. Ini berbeda dari perilaku default EMRFS, di mana
fs.s3n.multipart.uploads.split.sizeproperti mengontrol ukuran file di mana multipart upload dipicu. -
Multipart upload yang tersisa dalam keadaan tidak lengkap untuk jangka waktu yang lebih lama sampai tugas melakukan atau aborts. Ini berbeda dari perilaku default EMRFS di mana upload multipart selesai ketika tugas selesai menulis file yang diberikan.
Karena perbedaan ini, jika Spark Executor JVM crash atau dibunuh sementara tugas berjalan dan menulis data ke Amazon S3, upload multipart lengkap lebih mungkin tertinggal. Untuk alasan ini, saat Anda menggunakan EMRFS S3-optimized committer, pastikan untuk mengikuti praktik terbaik untuk mengelola unggahan multipart yang gagal. Untuk informasi lebih lanjut, lihat Praktik terbaik Untuk bekerja dengan bucket Amazon S3 dalam aplikasi Amazon EMR.
