View a markdown version of this page

Luncurkan cluster ke VPC dengan Amazon EMR - Amazon EMR
Memastikan alamat IP yang tersedia untuk cluster EMR di EC2

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Luncurkan cluster ke VPC dengan Amazon EMR

Setelah Anda memiliki subnet yang dikonfigurasi untuk menghosting klaster Amazon EMR, luncurkan klaster di subnet tersebut dengan menetapkan pengenal subnet terkait saat membuat klaster.

catatan

Amazon EMR mendukung subnet privat dalam versi rilis 4.2 dan di atasnya.

Saat klaster diluncurkan, Amazon EMR menambahkan grup keamanan yang didasarkan pada apakah klaster diluncurkan ke subnet privat atau publik VPC. Semua grup keamanan mengizinkan ingress pada port 8443 guna berkomunikasi ke layanan Amazon EMR, tetapi rentang alamat IP berbeda-beda untuk subnet publik dan privat. Amazon EMR mengelola semua grup keamanan ini, dan mungkin perlu menambahkan alamat IP tambahan ke rent AWS ang dari waktu ke waktu. Untuk informasi selengkapnya, lihat Kontrol lalu lintas jaringan dengan grup keamanan untuk cluster Amazon EMR Anda.

Untuk mengelola cluster pada VPC, Amazon EMR melampirkan perangkat jaringan ke node utama dan mengelolanya melalui perangkat ini. Anda dapat melihat perangkat ini dengan menggunakan tindakan API Amazon EC2 DescribeInstances. Jika Anda mengubah perangkat ini dengan cara apapun, klaster dapat mengalami kegagalan.

Console
Untuk meluncurkan cluster ke VPC dengan konsol

  1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon EMR di https://console.aws.amazon.com/emr.

  2. Di bawah EMR di EC2 di panel navigasi kiri, pilih Clu ster, lalu pilih Buat cluster.

  3. Di bawah Jaringan, buka bidang Virtual Private Cloud (VPC). Masukkan nama VPC Anda atau pilih Browse untuk memilih VPC Anda. Atau, pilih Buat VPC untuk membuat VPC yang dapat Anda gunakan untuk cluster Anda.

  4. Pilih opsi lain yang berlaku untuk cluster Anda.

  5. Untuk meluncurkan cluster Anda, pilih Buat cluster.

AWS CLI
Untuk meluncurkan cluster ke VPC dengan AWS CLI
catatan

AWS CLI Tidak menyediakan cara untuk membuat instance NAT secara otomatis dan menghubungkannya ke subnet pribadi Anda. Namun, untuk membuat titik akhir S3 di subnet Anda, Anda dapat menggunakan perintah Amazon VPC CLI. Gunakan konsol untuk membuat instans NAT dan meluncurkan klaster di subnet privat.

Setelah VPC Anda dikonfigurasi, Anda dapat meluncurkan cluster Amazon EMR di dalamnya dengan menggunakan create-cluster subperintah dengan parameter. --ec2-attributes Gunakan parameter --ec2-attributes untuk menentukan subnet VPC yang digunakan untuk klaster Anda.

  • Untuk membuat cluster di subnet tertentu, ketik perintah berikut, ganti myKey dengan nama pasangan kunci Amazon EC2 Anda, dan ganti 77XXXX03 dengan ID subnet Anda.

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    Ketika Anda menentukan jumlah instance tanpa menggunakan --instance-groups parameter, satu node utama diluncurkan, dan instance yang tersisa diluncurkan sebagai node inti. Semua simpul menggunakan tipe instans yang ditentukan dalam perintah.

    catatan

    Jika Anda belum pernah membuat peran layanan Amazon EMR default dan profil instans EC2, ketik aws emr create-default-roles untuk membuatnya sebelum mengetik create-cluster subperintah.

Memastikan alamat IP yang tersedia untuk cluster EMR di EC2

Untuk memastikan bahwa subnet dengan alamat IP gratis yang cukup tersedia saat Anda meluncurkan, pemilihan subnet EC2 memeriksa ketersediaan IP. Ini Proses pembuatan menggunakan subnet dengan jumlah alamat IP yang diperlukan untuk meluncurkan node inti, primer dan tugas sesuai kebutuhan, bahkan jika pada pembuatan awal, hanya node inti untuk cluster yang dibuat. EMR memeriksa jumlah alamat IP yang diperlukan untuk meluncurkan node utama dan tugas selama pembuatan, serta menghitung secara terpisah jumlah alamat IP yang diperlukan untuk meluncurkan node inti. Jumlah minimum instans utama dan tugas atau node yang diperlukan ditentukan secara otomatis oleh Amazon EMR.

penting

Jika tidak ada subnet di VPC yang memiliki cukup IP yang tersedia untuk mengakomodasi node penting, kesalahan dikembalikan dan cluster tidak dibuat.

Dalam kebanyakan kasus penerapan, ada perbedaan waktu antara setiap peluncuran node inti, primer, dan tugas. Selain itu, ada kemungkinan bagi beberapa cluster untuk berbagi subnet. Dalam kasus ini, IP-address ketersediaan dapat berfluktuasi dan peluncuran task-node berikutnya, misalnya, dapat dibatasi oleh alamat IP yang tersedia.