Kelola failover Multi-AZ untuk cluster EMR dengan menggunakan Application Recovery Controller

Buat bucket S3 untuk menyimpan dataset input, log, aplikasi, dan data output. Untuk petunjuk, lihat dokumentasi Amazon S3.

Atur bucket ke dalam folder terpisah untuk input data (dataset), logs (logs), Spark application (spark-app), dan output data (output).

Gunakan AWS CLI perintah berikut untuk membuat klaster EMR (misalnya, versi 6.12 atau yang lebih baru) dengan instance yang menjangkau dua Availability Zone (seperti us-east-1a danus-east-1b) untuk ketersediaan tinggi. Perintah menentukan jenis m4.large instance sebagai contoh.

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-1> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-2> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

Untuk informasi selengkapnya, lihat perintah create-cluster dan dokumentasi Amazon EMR.

Berikan key pair, peran layanan, dan profil instance dengan izin yang diperlukan, jika diperlukan.

Identifikasi grup keamanan yang terkait dengan master node EMR cluster dengan menggunakan perintah AWS CLI describe-cluster:

aws emr describe-cluster --cluster-id j-XXXXXXXX

Untuk meningkatkan keamanan, ubah pengaturan grup keamanan untuk mengizinkan akses SSH (port TCP 22) ke node master, tetapi batasi ke alamat IP spesifik Anda.

Untuk informasi selengkapnya, lihat dokumentasi Amazon EMR.

Buat atau edit file aplikasi Spark (main.py) dengan menggunakan editor teks seperti vim:

vim main.py

Untuk informasi selengkapnya tentang membuat dan memodifikasi aplikasi Spark, lihat dokumentasi Amazon EMR.

Kirimkan aplikasi Spark ke cluster EMR, dengan menentukan data input dan lokasi data output di bucket S3:

spark-submit main.py —data_source <input-data-folder-in-s3> —output_uri <output-folder-in-s3>

Berikut adalah contoh berdasarkan folder yang Anda atur sebelumnya:

spark-submit main.py —data_source dataset —output_uri output

Pantau kemajuan aplikasi dengan memeriksa log aplikasi:

yarn logs -applicationId <application-id>

Buka jendela terminal lain dan buat terowongan SSH ke UI web pengelola sumber daya kluster EMR:

ssh -i <key-pair-name> -N -L 8157:<resource-manager-public-dns>:8088 hadoop@<resource-manager-public-dns>

Untuk memantau aplikasi, akses UI web pengelola sumber daya dengan menavigasi ke http://localhost:8157 browser web Anda.

Buka konsol Application Recovery Controller.

Di bawah Memulai, pilih Pergeseran zona, Mulai pergeseran zona.

Pilih Availability Zone yang ingin Anda alihkan lalu lintas.

Pilih sumber daya yang didukung (misalnya, Application Load Balancer) untuk pergeseran zona dari tabel Resources.

Untuk Mengatur kedaluwarsa pergeseran zona, pilih atau masukkan kedaluwarsa untuk pergeseran zona. Anda dapat mengatur durasi antara 1 menit dan tiga hari (72 jam).

Semua pergeseran zona bersifat sementara. Anda harus menetapkan kedaluwarsa, tetapi Anda dapat memperbarui shift aktif nanti untuk menetapkan periode kedaluwarsa baru hingga tiga hari.

Masukkan komentar tentang pergeseran zona ini.

Pilih kotak centang untuk mengetahui bahwa memulai pergeseran zona akan mengurangi kapasitas yang tersedia untuk aplikasi Anda dengan mengalihkan lalu lintas dari Availability Zone.

Pilih Mulai.

Verifikasi sumber daya yang terdaftar dengan zonal shift:

aws arc-zonal-shift list-managed-resources --region <AWS-region-name>

Misalnya, output berikut mengonfirmasi bahwa sumber daya aktif dan berjalan di kedua Availability Zones.

"appliedWeights": {
        "use1-az1": 1.0,
        "use1-az2": 1.0
    },

Untuk memvisualisasikan pergeseran zona, gunakan AWS CLI perintah berikut untuk memulai pergeseran zona:

aws arc-zonal-shift start-zonal-shift \
   --resource-identifier <application-load-balancer-arn> \
   --away-from <source-AZ> \
   --expires-in 10m --comment "testing" \
   --region <AWS-region-name>

di mana <source-AZ> adalah pengenal Availability Zone yang ingin Anda alihkan lalu lintas, dan <application-load-balancer-arn> merupakan Amazon Resource Name (ARN) dari Application Load Balancer Anda.

Verifikasi bahwa lalu lintas telah bergeser ke Availability Zone lain.

aws arc-zonal-shift get-managed-resource \
   --resource-identifier <application-load-balancer-arn> \
   --region <AWS-region-name>

Anda dapat melihat pergeseran zona yang dikonfirmasi oleh bobot ini:

"appliedWeights": {
        "use1-az1": 0.0,
        "use1-az2": 1.0
    },