View a markdown version of this page

Kesalahan cluster Amazon EMR: Kesalahan ruang HDFS tidak mencukupi - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kesalahan cluster Amazon EMR: Kesalahan ruang HDFS tidak mencukupi

Kesalahan ruang tidak mencukupi Hadoop Distributed File System (HDFS) dapat terjadi jika Anda mencoba menghapus node inti, tetapi Amazon EMR tidak dapat menyelesaikan operasi dengan aman karena ruang yang tersisa tidak memadai di HDFS. Sebelum Amazon EMR menghapus node inti, semua data HDFS pada node harus ditransfer ke node inti lainnya untuk memastikan redundansi data. Namun, jika tidak ada cukup ruang pada node inti lainnya untuk replikasi, Amazon EMR tidak dapat menonaktifkan node dengan anggun.

Kemungkinan penyebab

Lihat berikut untuk daftar kemungkinan penyebab kesalahan ruang tidak mencukupi HDFS:

  • Jika Anda menurunkan skala grup instans inti atau armada instans secara manual ketika tidak ada cukup ruang HDFS pada node yang tersisa untuk replikasi data sebelum skala turun.

  • Penskalaan terkelola atau penskalaan otomatis mengurangi grup instans inti atau armada instans saat tidak ada cukup ruang HDFS untuk replikasi data.

  • Amazon EMR mencoba mengganti node inti yang tidak sehat tetapi tidak dapat mengganti node dengan aman karena ruang HDFS yang tidak mencukupi.

Solusi dan praktik terbaik

Lihat berikut ini untuk solusi dan praktik terbaik:

  • Tingkatkan jumlah node inti di cluster Amazon EMR Anda. Jika Anda menggunakan penskalaan terkelola atau penskalaan otomatis, tingkatkan kapasitas minimum node inti Anda.

  • Gunakan volume EBS yang lebih besar untuk node inti Anda saat Anda membuat cluster EMR Anda.

  • Hapus data HDFS yang tidak diperlukan di cluster EMR Anda. Kami menyarankan Anda mengatur CloudWatch alarm untuk memantau HDFSUtilization metrik di cluster Anda untuk mengetahui apakah cluster EMR Anda kekurangan ruang.