Membuat klaster EMR Amazon dengan armada instans atau grup instans seragam

Saat Anda membuat cluster dan menentukan konfigurasi node utama, node inti, dan node tugas, Anda memiliki dua opsi konfigurasi. Anda dapat menggunakan Armada instans atau grup instans seragam. Opsi konfigurasi yang Anda pilih berlaku untuk semua simpul, ini berlaku selama masa pakai klaster, dan armada instans serta grup instans tidak dapat bisa berada dalam satu klaster secara bersamaan. Konfigurasi armada instans tersedia di Amazon EMR versi 4.8.0 dan yang lebih baru, tidak termasuk versi 5.0.x.

Anda dapat menggunakan konsol EMR Amazon, API EMR Amazon AWS CLI, atau Amazon EMR untuk membuat cluster dengan konfigurasi mana pun. Saat Anda menggunakan perintah create-cluster dari AWS CLI, Anda menggunakan parameter --instance-fleets untuk membuat klaster menggunakan armada instans atau, sebagai alternatif, Anda dapat menggunakan parameter --instance-groups untuk membuatnya dengan menggunakan grup instans seragam.

Hal yang sama berlaku menggunakan Amazon EMR API. Anda menggunakan konfigurasi InstanceGroups untuk menentukan susunan objek InstanceGroupConfig, atau Anda menggunakan konfigurasi InstanceFleets untuk menentukan susunan objek InstanceFleetConfig.

Di konsol EMR Amazon yang baru, Anda dapat memilih untuk menggunakan grup instans atau armada instans saat membuat klaster, dan Anda memiliki opsi untuk menggunakan Instans Spot dengan masing-masing. Dengan konsol EMR Amazon lama, jika Anda menggunakan setelan Opsi Cepat default saat membuat klaster, Amazon EMR menerapkan konfigurasi grup instans seragam ke cluster dan menggunakan Instans Sesuai Permintaan. Untuk menggunakan Instans Spot dengan grup instans seragam, atau untuk mengonfigurasi armada instans dan penyesuaian lainnya, pilih Opsi lanjutan.

Armada instans

Konfigurasi armada instance menawarkan beragam opsi penyediaan terluas untuk instans Amazon. EC2 Setiap jenis simpul memiliki satu armada instans, dan penggunaan armada instans tugas bersifat opsional. Anda dapat menentukan hingga lima jenis EC2 instans per armada, atau 30 jenis EC2 instans per armada saat membuat klaster menggunakan API EMR Amazon AWS CLI atau Amazon dan strategi alokasi untuk Instans Sesuai Permintaan dan Spot. Untuk armada instans inti dan tugas, tetapkan Kapasitas target Instans Sesuai Permintaan, dan Instans Spot lainnya. Amazon EMR memilih gabungan apa pun dari tiap instans yang ditentukan untuk memenuhi kapasitas target, menyediakan Instans Sesuai Permintaan dan Spot.

Untuk tipe node utama, Amazon EMR memilih satu jenis instans dari daftar instans Anda, dan Anda menentukan apakah itu disediakan sebagai Instans Sesuai Permintaan atau Spot. Armada instans juga menyediakan opsi tambahan untuk pembelian Instans Spot dan Sesuai Permintaan. Opsi Instans Spot mencakup batas waktu yang menentukan tindakan yang harus diambil jika kapasitas Spot tidak dapat disediakan, dan strategi alokasi pilihan (dioptimalkan kapasitas) untuk meluncurkan armada Instans Spot. Armada Instans Berdasarkan Permintaan juga dapat diluncurkan menggunakan opsi strategi alokasi (harga terendah). Jika Anda menggunakan peran layanan yang bukan merupakan peran layanan default EMR, atau menggunakan kebijakan terkelola EMR dalam peran layanan, Anda harus menambahkan izin tambahan ke peran layanan klaster kustom untuk mengaktifkan opsi strategi alokasi. Untuk informasi selengkapnya, lihat Peran layanan untuk Amazon EMR (peran EMR).

Untuk informasi lebih lanjut tentang konfigurasi armada instans, lihat Merencanakan dan mengonfigurasi armada instans untuk klaster EMR Amazon Anda.

Grup instans seragam

Grup instans seragam menawarkan penyiapan yang lebih sederhana daripada armada instans. Setiap klaster EMR Amazon dapat menyertakan hingga 50 grup instans: satu grup instans utama yang berisi satu EC2 instans Amazon, grup instans inti yang berisi satu atau beberapa EC2 instans, dan hingga 48 grup instans tugas opsional. Setiap grup inti dan instans tugas dapat berisi sejumlah EC2 instans Amazon. Anda dapat menskalakan setiap grup instans dengan menambahkan dan menghapus EC2 instans Amazon secara manual, atau Anda dapat mengatur penskalaan otomatis. Untuk informasi tentang menambahkan dan menghapus instans, lihat Gunakan penskalaan klaster EMR Amazon untuk menyesuaikan perubahan beban kerja.

Untuk informasi selengkapnya tentang mengonfigurasi grup instans seragam, lihat Mengonfigurasi grup instans seragam untuk klaster EMR Amazon.

Bekerja dengan armada instance dan grup instance