Luncurkan cluster ke dalam VPC dengan Amazon EMR - Amazon EMR
Memastikan alamat IP yang tersedia untuk kluster EMR EC2

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Luncurkan cluster ke dalam VPC dengan Amazon EMR

Setelah Anda memiliki subnet yang dikonfigurasi untuk menghosting klaster Amazon EMR, luncurkan klaster di subnet tersebut dengan menetapkan pengenal subnet terkait saat membuat klaster.

catatan

Amazon EMR mendukung subnet privat dalam versi rilis 4.2 dan di atasnya.

Saat klaster diluncurkan, Amazon EMR menambahkan grup keamanan yang didasarkan pada apakah klaster diluncurkan ke subnet privat atau publik VPC. Semua grup keamanan mengizinkan ingress pada port 8443 guna berkomunikasi ke layanan Amazon EMR, tetapi rentang alamat IP berbeda-beda untuk subnet publik dan privat. Amazon EMR mengelola semua grup keamanan ini, dan mungkin perlu menambahkan alamat IP tambahan ke AWS rentang dari waktu ke waktu. Untuk informasi selengkapnya, lihat Kontrol lalu lintas jaringan dengan grup keamanan untuk klaster EMR Amazon Anda.

Untuk mengelola cluster pada VPC, Amazon EMR melampirkan perangkat jaringan ke node utama dan mengelolanya melalui perangkat ini. Anda dapat melihat perangkat ini menggunakan tindakan Amazon EC2 API DescribeInstances. Jika Anda mengubah perangkat ini dengan cara apapun, klaster dapat mengalami kegagalan.

Console
Untuk meluncurkan cluster ke VPC dengan konsol

  1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com /emr.

  2. Di bawah EMR EC2 di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

  3. Di bawah Networking, buka bidang Virtual Private Cloud (VPC). Masukkan nama VPC Anda atau pilih Browse untuk memilih VPC Anda. Atau, pilih Buat VPC untuk membuat VPC yang dapat Anda gunakan untuk klaster Anda.

  4. Pilih opsi lain yang berlaku untuk cluster Anda.

  5. Untuk meluncurkan klaster Anda, pilih Buat klaster.

AWS CLI
Untuk meluncurkan cluster ke VPC dengan AWS CLI
catatan

AWS CLI Itu tidak menyediakan cara untuk membuat instance NAT secara otomatis dan menghubungkannya ke subnet pribadi Anda. Namun, untuk membuat titik akhir S3 di subnet Anda, Anda dapat menggunakan perintah Amazon VPC CLI. Gunakan konsol untuk membuat instans NAT dan meluncurkan klaster di subnet privat.

Setelah VPC Anda dikonfigurasi, Anda dapat meluncurkan klaster EMR Amazon di dalamnya dengan menggunakan subperintah dengan parameter. create-cluster --ec2-attributes Gunakan parameter --ec2-attributes untuk menentukan subnet VPC yang digunakan untuk klaster Anda.

  • Untuk membuat cluster di subnet tertentu, ketik perintah berikut, ganti myKey dengan nama Amazon EC2 key pair Anda, dan ganti 77XXXX03 dengan subnet ID Anda.

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    Saat Anda menentukan jumlah instance tanpa menggunakan --instance-groups parameter, satu node primer diluncurkan, dan instance yang tersisa diluncurkan sebagai node inti. Semua simpul menggunakan tipe instans yang ditentukan dalam perintah.

    catatan

    Jika sebelumnya Anda belum membuat peran layanan EMR Amazon dan profil EC2 instans default, ketik aws emr create-default-roles untuk membuatnya sebelum mengetik subperintah. create-cluster

Memastikan alamat IP yang tersedia untuk kluster EMR EC2

Untuk memastikan bahwa subnet dengan alamat IP gratis yang cukup tersedia saat Anda meluncurkan, pemilihan EC2 subnet memeriksa ketersediaan IP. Proses pembuatan menggunakan subnet dengan jumlah alamat IP yang diperlukan untuk meluncurkan node inti, primer dan tugas seperti yang diperlukan, bahkan jika pada pembuatan awal, hanya node inti untuk cluster yang dibuat. EMR memeriksa jumlah alamat IP yang diperlukan untuk meluncurkan node primer dan tugas selama pembuatan, serta menghitung secara terpisah jumlah alamat IP yang diperlukan untuk meluncurkan node inti. Jumlah minimum instance atau node primer dan tugas yang diperlukan ditentukan secara otomatis oleh Amazon EMR.

penting

Jika tidak ada subnet di VPC yang cukup IPs tersedia untuk mengakomodasi node penting, kesalahan akan dikembalikan dan cluster tidak dibuat.

Dalam sebagian besar kasus penerapan, ada perbedaan waktu antara setiap peluncuran node inti, primer, dan tugas. Selain itu, dimungkinkan untuk beberapa cluster untuk berbagi subnet. Dalam kasus ini, ketersediaan alamat IP dapat berfluktuasi dan peluncuran node tugas berikutnya, misalnya, dapat dibatasi oleh alamat IP yang tersedia.