Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengganti node yang tidak sehat dengan Amazon EMR
Amazon EMR secara berkala menggunakan layanan pemeriksa NodeManager kesehatan
catatan
Alasan umum untuk node menjadi tidak sehat adalah karena ia kehabisan ruang disk. Untuk informasi lebih lanjut tentang kapan node inti hampir kehabisan ruang disk, artikel RE: Post Knowledge Center berikut ini sangat membantu: Mengapa node inti di cluster Amazon EMR saya kehabisan ruang disk?
catatan
Hadoop memang menyediakan kemampuan untuk menjalankan pemeriksaan kesehatan node yang disesuaikan. Hal ini dijelaskan secara lebih rinci dalam dokumentasi Apache Hadoop di NodeManager
Anda dapat memilih apakah Amazon EMR harus menghentikan node yang tidak sehat atau menyimpannya di cluster. Jika Anda menonaktifkan penggantian node yang tidak sehat, mereka tetap berada di daftar tolak dan terus dihitung terhadap kapasitas cluster. Anda masih dapat terhubung ke instans inti Amazon EC2 untuk konfigurasi dan pemulihan, sehingga Anda dapat mengubah ukuran cluster jika ingin menambah kapasitas. Untuk informasi selengkapnya tentang cara kerja penggantian dan penghentian node, lihat Menggunakan perlindungan penghentian.
Jika penggantian node yang tidak sehat diaktifkan, Amazon EMR akan menghentikan node inti yang tidak sehat dan menyediakan instance baru, berdasarkan jumlah instans dalam grup instans, atau berdasarkan kapasitas target untuk armada contoh. Jika ada node yang tidak sehat selama lebih dari 45 menit, Amazon EMR akan dengan anggun mengganti node. Jika penonaktifan yang anggun untuk node tidak selesai dalam satu jam, node dihentikan secara paksa, kecuali jika penghentiannya membawa cluster di bawah faktor replikasi atau batasan kapasitas HDFS.
penting
Perhatikan bahwa waktu yang diperlukan sebelum node dinonaktifkan atau dihentikan dengan anggun dapat berubah.
Meskipun penggantian node yang tidak sehat secara signifikan mengurangi kemungkinan kehilangan data, itu tidak menghilangkan risiko sepenuhnya. Data HDFS dapat hilang secara permanen selama penggantian instans inti yang tidak sehat secara anggun. Kami menyarankan Anda selalu membuat cadangan data Anda.
Untuk informasi selengkapnya tentang mengidentifikasi node dan pemulihan yang tidak sehat, lihat Kes alahan sumber daya. Selain itu, untuk praktik terbaik lainnya yang dapat Anda ikuti untuk menjaga kesehatan cluster, lihat dokumentasi berikut untuk kesalahan sumber daya Cluster Amazon EMR berakhir dengan NO_SLAVE_LEFT dan node inti FAILED_BY_MASTER.
Amazon EMR menerbitkan Amazon CloudWatch Events untuk penggantian node yang tidak sehat, sehingga Anda dapat melacak apa yang terjadi dengan instans inti yang tidak sehat. Untuk informasi selengkapnya, lihat peristiwa penggantian simpul yang tidak sehat.
Penggantian simpul default dan pengaturan perlindungan penghentian
Penggantian node yang tidak sehat tersedia untuk semua rilis Amazon EMR, tetapi pengaturan default bergantung pada label rilis yang Anda pilih. Anda dapat mengubah salah satu pengaturan ini dengan mengonfigurasi penggantian node yang tidak sehat saat membuat cluster baru atau dengan membuka konfigurasi cluster kapan saja.
Jika Anda membuat cluster simpul tunggal atau cluster ketersediaan tinggi yang menjalankan Amazon EMR rilis 7.0 atau lebih rendah, pengaturan default penggantian node yang tidak sehat bergantung pada perlindungan penghentian:
Mengaktifkan perlindungan terminasi menonaktifkan penggantian node yang tidak sehat.
Menonaktifkan perlindungan penghentian memungkinkan penggantian node yang tidak sehat.
Mengkonfigurasi penggantian node yang tidak sehat saat Anda meluncurkan cluster
Anda dapat mengaktifkan atau menonaktifkan penggantian node yang tidak sehat saat meluncurkan cluster menggunakan konsol AWS CLI,, atau API.
Pengaturan default penggantian simpul tidak sehat tergantung pada cara Anda meluncurkan cluster:
-
Konsol Amazon EMR — penggantian simpul yang tidak sehat di aktifkan secara default.
-
AWS CLI
aws emr create-cluster— penggantian simpul yang tidak sehat diaktifkan secara default kecuali Anda menentukan--no-unhealthy-node-replacement. -
Perintah Amazon EMR RunJobFlow API — penggantian simpul yang tidak sehat di aktifkan secara default kecuali jika Anda menetapkan nilai
UnhealthyNodeReplacementBoolean ke atau.TrueFalse
Mengkonfigurasi penggantian node yang tidak sehat di cluster yang sedang berjalan
Anda dapat mengaktifkan atau menonaktifkan penggantian node yang tidak sehat untuk cluster yang sedang berjalan menggunakan konsol AWS CLI,, atau API.
