Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengganti node yang tidak sehat dengan Amazon EMR
Amazon EMR secara berkala menggunakan layanan pemeriksa NodeManager kesehatan
catatan
Alasan umum untuk node menjadi tidak sehat adalah karena ia berada di luar ruang disk. Untuk informasi lebih lanjut tentang kapan node inti hampir kehabisan ruang disk, artikel Re:Post Knowledge Center berikut sangat membantu: Mengapa node inti di cluster EMR Amazon saya kehabisan
catatan
Hadoop memang menyediakan kemampuan untuk menjalankan pemeriksaan kesehatan simpul yang disesuaikan. Hal ini dijelaskan secara rinci dalam dokumentasi Apache Hadoop di. NodeManager
Anda dapat memilih apakah Amazon EMR harus menghentikan node yang tidak sehat atau menyimpannya di cluster. Jika Anda mematikan penggantian node yang tidak sehat, mereka tetap berada dalam daftar penolakan dan terus menghitung kapasitas cluster. Anda masih dapat terhubung ke instans EC2 inti Amazon untuk konfigurasi dan pemulihan, sehingga Anda dapat mengubah ukuran klaster jika ingin menambahkan kapasitas. Untuk informasi selengkapnya tentang cara kerja penggantian dan penghentian node, lihat Menggunakan perlindungan terminasi.
Jika penggantian node yang tidak sehat diaktifkan, Amazon EMR menghentikan node inti yang tidak sehat dan menyediakan instance baru, berdasarkan jumlah instance dalam grup instans, atau berdasarkan kapasitas target untuk armada instance. Jika ada node yang tidak sehat selama lebih dari 45 menit, Amazon EMR akan dengan anggun mengganti node. Jika penonaktifan yang anggun untuk node tidak selesai dalam satu jam, node dihentikan secara paksa, kecuali jika penghentiannya membawa cluster di bawah faktor replikasi atau kendala kapasitas HDFS.
penting
Perhatikan bahwa waktu yang dibutuhkan sebelum node dinonaktifkan atau dihentikan dengan anggun dapat berubah.
Sementara penggantian node yang tidak sehat secara signifikan mengurangi kemungkinan kehilangan data, itu tidak menghilangkan risiko sepenuhnya. Data HDFS dapat hilang secara permanen selama penggantian instans inti yang tidak sehat dengan anggun. Kami menyarankan agar Anda selalu mencadangkan data Anda.
Untuk informasi selengkapnya tentang mengidentifikasi node dan pemulihan yang tidak sehat, lihat Kesalahan sumber daya. Selain itu, untuk praktik terbaik lainnya yang dapat Anda ikuti untuk menjaga kesehatan klaster, lihat dokumentasi berikut untuk kesalahan sumber daya yang dihentikan oleh klaster EMR Amazon dengan NO_SLAVE_LEFT dan node inti FAILED_BY_MASTER.
Amazon EMR menerbitkan Acara CloudWatch Amazon untuk penggantian node yang tidak sehat, sehingga Anda dapat melacak apa yang terjadi dengan instance inti Anda yang tidak sehat. Untuk informasi selengkapnya, lihat peristiwa penggantian node yang tidak sehat.
Penggantian node default dan pengaturan perlindungan terminasi
Penggantian node yang tidak sehat tersedia untuk semua rilis EMR Amazon, tetapi pengaturan default bergantung pada label rilis yang Anda pilih. Anda dapat mengubah salah satu pengaturan ini dengan mengonfigurasi penggantian node yang tidak sehat saat membuat cluster baru atau dengan pergi ke konfigurasi cluster kapan saja.
Jika Anda membuat klaster simpul tunggal atau klaster ketersediaan tinggi yang menjalankan Amazon EMR release 7.0 atau yang lebih rendah, pengaturan default penggantian node yang tidak sehat bergantung pada perlindungan terminasi:
Mengaktifkan perlindungan terminasi menonaktifkan penggantian node yang tidak sehat.
Menonaktifkan perlindungan terminasi memungkinkan penggantian node yang tidak sehat.
Mengonfigurasi penggantian node yang tidak sehat saat Anda meluncurkan cluster
Anda dapat mengaktifkan atau menonaktifkan penggantian node yang tidak sehat saat meluncurkan klaster menggunakan konsol AWS CLI, the, atau API.
Pengaturan penggantian node default yang tidak sehat tergantung pada cara Anda meluncurkan cluster:
-
Konsol Amazon EMR — penggantian node yang tidak sehat diaktifkan secara default.
-
AWS CLI
aws emr create-cluster— Penggantian node yang tidak sehat diaktifkan secara default kecuali Anda menentukan--no-unhealthy-node-replacement. -
Perintah Amazon EMR RunJobFlow API — penggantian node yang tidak sehat diaktifkan secara default kecuali Anda menetapkan nilai
UnhealthyNodeReplacementBoolean ke atau.TrueFalse
Mengkonfigurasi penggantian node yang tidak sehat di cluster yang sedang berjalan
Anda dapat mengaktifkan atau menonaktifkan penggantian node yang tidak sehat untuk cluster yang sedang berjalan menggunakan konsol AWS CLI, the, atau API.
