Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Coba lagi permintaan Amazon S3 dengan EMRFS
Topik ini memberikan informasi tentang strategi coba ulang yang dapat Anda gunakan saat membuat permintaan ke Amazon S3 dengan EMRFS. Ketika tingkat permintaan Anda meningkat, S3 mencoba menskalakan untuk mendukung tarif baru. Selama proses ini S3 dapat membatasi permintaan dan mengembalikan 503 Slow Down kesalahan. Untuk meningkatkan tingkat keberhasilan permintaan S3 Anda, Anda dapat menyesuaikan strategi coba ulang dengan mengonfigurasi properti dalam emrfs-site konfigurasi Anda.
Anda dapat menyesuaikan strategi coba ulang Anda dengan cara berikut.
-
Tingkatkan batas coba ulang maksimum untuk strategi coba kembali backoff eksponensial default.
-
Aktifkan dan konfigurasikan strategi coba ulang aditif increase/multiplicative - -pengurangan (AIMD). AIMD didukung untuk rilis Amazon EMR 6.4.0 dan yang lebih baru.
Gunakan strategi backoff eksponensial default
Secara default, EMRFS menggunakan strategi mundur eksponensial untuk mencoba kembali permintaan Amazon S3. Batas coba ulang EMRFS default adalah 15. Untuk menghindari 503 Slow Down kesalahan S3, Anda dapat meningkatkan batas percobaan ulang saat membuat cluster baru, pada cluster yang sedang berjalan, atau saat runtime aplikasi.
Untuk meningkatkan batas coba lagi, Anda harus mengubah nilai untuk fs.s3.maxRetries dalam emrfs-site konfigurasi Anda. Contoh konfigurasi berikut ditetapkan fs.s3.maxRetries ke nilai kustom 30.
[ { "Classification": "emrfs-site", "Properties": { "fs.s3.maxRetries": "30" } } ]
Untuk informasi selengkapnya tentang bekerja dengan objek konfigurasi, lihatKonfigurasikan aplikasi.
Gunakan strategi coba ulang AIMD
Dengan Amazon EMR rilis 6.4.0 dan yang lebih baru, EMRFS mendukung strategi coba ulang alternatif berdasarkan model aditif increase/multiplicative - penurunan (AIMD). Strategi coba ulang AIMD sangat berguna saat Anda bekerja dengan cluster Amazon EMR besar.
AIMD menghitung tingkat permintaan khusus menggunakan data tentang permintaan baru-baru ini yang berhasil. Strategi ini mengurangi jumlah permintaan yang dibatasi dan total upaya yang diperlukan per permintaan.
Untuk mengaktifkan strategi coba ulang AIMD, Anda harus mengatur fs.s3.aimd.enabled properti ke true dalam emrfs-site konfigurasi Anda seperti pada contoh berikut.
[ { "Classification": "emrfs-site", "Properties": { "fs.s3.aimd.enabled": "true" } } ]
Untuk informasi selengkapnya tentang bekerja dengan objek konfigurasi, lihatKonfigurasikan aplikasi.
Pengaturan coba ulang AIMD lanjutan
Anda dapat mengonfigurasi properti yang tercantum dalam tabel berikut untuk memperbaiki perilaku coba ulang saat Anda menggunakan strategi coba ulang AIMD. Untuk sebagian besar kasus penggunaan, kami menyarankan Anda menggunakan nilai default.
| Properti | Nilai default | Deskripsi |
|---|---|---|
fs.s3.aimd.increaseIncrement |
0.1 | Mengontrol seberapa cepat tingkat permintaan meningkat ketika permintaan berturut-turut berhasil. |
fs.s3.aimd.reductionFactor |
2 | Mengontrol seberapa cepat tingkat permintaan berkurang saat Amazon S3 mengembalikan respons 503. Faktor default 2 memotong tingkat permintaan menjadi dua. |
fs.s3.aimd.minRate |
0.1 | Menetapkan batas bawah untuk tingkat permintaan saat permintaan mengalami pelambatan berkelanjutan oleh S3. |
fs.s3.aimd.initialRate |
5500 | Menetapkan tingkat permintaan awal, yang kemudian berubah sesuai dengan nilai yang Anda tentukan untuk fs.s3.aimd.increaseIncrement danfs.s3.aimd.reductionFactor.Tarif awal juga digunakan untuk permintaan GET, dan diskalakan secara proporsional (3500/5500) untuk permintaan PUT. |
fs.s3.aimd.adjustWindow |
2 | Mengontrol seberapa sering tingkat permintaan disesuaikan, diukur dalam jumlah tanggapan. |
fs.s3.aimd.maxAttempts |
100 | Menetapkan jumlah maksimum upaya untuk mencoba permintaan. |
