Kemasan bin kontainer YARN - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kemasan bin kontainer YARN

Dimulai dengan Amazon EMR versi 7.9.0, kebijakan pengemasan wadah sekarang tersedia untuk penjadwal kapasitas YARN, yang dibangun di atas kebijakan penempatan multi-node YARN. Meskipun fitur dinonaktifkan secara default, ketika diaktifkan, YARN memprioritaskan mengisi satu node dengan wadah sebelum memperluas ke node cluster lain, sambil menghormati ambang kemasan yang telah ditentukan sebelumnya yang ditentukan oleh konfigurasi. yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage

Kebijakan pengemasan tempat sampah kontainer menawarkan beberapa manfaat dibandingkan dengan strategi alokasi kontainer seragam default:

  • Ini Mengurangi fragmentasi sumber daya cluster.

  • Ini berpotensi mempercepat operasi penskalaan klaster dengan meluncurkan kontainer pada jumlah node terbatas ketika ada sumber daya yang tersedia pada node tersebut, sehingga membiarkan node lain menganggur, yang kemudian dapat diperkecil — sehingga mengarah pada penghematan biaya yang lebih baik untuk penskalaan cluster secara dinamis.

Aktifkan fitur

Untuk mengaktifkan fitur pengemasan tempat sampah kontainer di Amazon EMR, Anda dapat menambahkan klasifikasi situs YARN berikut:

[ { "Classification": "yarn-site", "Properties": { "yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100" } } ]

Pertimbangan

  • Fitur ini tersedia secara eksklusif untuk penjadwal kapasitas YARN.

  • Mengaktifkan fitur secara otomatis mengaktifkan strategi penjadwalan penempatan multi-node YARN.

  • Mungkin ada potensi penurunan kinerja karena pemanfaatan sumber daya terkonsentrasi pada sejumlah node yang terbatas.

  • Dengan fitur ini, kebijakan auto-scaling khusus menunjukkan operasi penskalaan yang lebih baik, dibandingkan dengan kebijakan penskalaan terkelola.