Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Kelola failover Multi-AZ untuk cluster EMR dengan menggunakan Application Recovery Controller *Aarti Rajput, Ashish Bhatt, Neeti Mishra, dan Nidhi Sharma, Amazon Web Services* ## Ringkasan Pola ini menawarkan strategi pemulihan bencana yang efisien untuk beban kerja EMR Amazon untuk membantu memastikan ketersediaan tinggi dan konsistensi data di beberapa Availability Zone dalam satu. Wilayah AWS Desainnya menggunakan [Amazon Application Recovery Controller](https://docs.aws.amazon.com/r53recovery/latest/dg/what-is-route53-recovery.html) dan [Application Load Balancer](https://docs.aws.amazon.com/elasticloadbalancing/latest/application/introduction.html) untuk mengelola operasi failover dan distribusi lalu lintas untuk cluster EMR berbasis Apache Spark. Dalam kondisi standar, Availability Zone utama menghosting cluster EMR aktif dan aplikasi dengan fungsionalitas penuh read/write . Jika Availability Zone gagal secara tak terduga, lalu lintas secara otomatis dialihkan ke Availability Zone sekunder, tempat klaster EMR baru diluncurkan. Kedua Availability Zone mengakses bucket Amazon Simple Storage Service (Amazon S3) bersama melalui titik akhir [gateway khusus](https://docs.aws.amazon.com/vpc/latest/privatelink/vpc-endpoints-s3.html), yang memastikan pengelolaan data yang konsisten. Pendekatan ini meminimalkan waktu henti dan memungkinkan pemulihan cepat untuk beban kerja data besar yang penting selama kegagalan Availability Zone. Solusi ini berguna dalam industri seperti keuangan atau ritel, di mana analitik real-time sangat penting. ## Prasyarat dan batasan **Prasyarat** + Aktif [Akun AWS](https://aws.amazon.com/resources/create-account/) + [Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html) di Amazon Elastic Compute Cloud (Amazon) EC2 + Akses dari simpul master cluster EMR ke Amazon S3. + AWS Infrastruktur multi-AZ **Batasan** + Beberapa Layanan AWS tidak tersedia di semua Wilayah AWS. Untuk ketersediaan Wilayah, lihat [Layanan AWS berdasarkan Wilayah](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/). Untuk titik akhir tertentu, lihat halaman [titik akhir dan kuota Layanan](https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html), dan pilih tautan untuk layanan. **Versi produk** + [Amazon EMR 6.x dan rilis yang lebih baru](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html) ## Arsitektur **Tumpukan teknologi target** + Kluster EMR Amazon + Pengontrol Pemulihan Aplikasi Amazon + Penyeimbang Beban Aplikasi + Buket Amazon S3 + Titik akhir gateway untuk Amazon S3 **Arsitektur target** ![Arsitektur untuk mekanisme pemulihan otomatis dengan Application Recovery Cotnroller.](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/images/pattern-img/e5ecdb66-0eef-4a6a-8367-982a55104748/images/e982d580-13db-4bdd-9f6b-6400d7c31c01.png) Arsitektur ini memberikan ketahanan aplikasi dengan menggunakan beberapa Availability Zones dan menerapkan mekanisme pemulihan otomatis melalui Application Recovery Controller. 1. Application Load Balancer merutekan lalu lintas ke lingkungan EMR Amazon yang aktif, yang biasanya merupakan cluster EMR utama di Availability Zone utama. 1. Cluster EMR aktif memproses permintaan aplikasi dan terhubung ke Amazon S3 melalui titik akhir gateway Amazon S3 khusus untuk operasi baca dan tulis. 1. Amazon S3 berfungsi sebagai repositori data pusat dan berpotensi digunakan sebagai pos pemeriksaan atau sebagai penyimpanan bersama antara kluster EMR. Cluster EMR mempertahankan konsistensi data ketika mereka menulis langsung ke Amazon S3 melalui protokol `s3://` dan EMR File System ([EMRFS](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-fs.html)). 1. Application Recovery Controller terus memantau kesehatan Availability Zone primer dan secara otomatis mengelola operasi failover bila diperlukan. 1. Jika Application Recovery Controller mendeteksi kegagalan dalam klaster EMR primer, dibutuhkan tindakan berikut: + Memulai proses failover ke cluster EMR sekunder di Availability Zone 2. + Memperbarui konfigurasi routing untuk mengarahkan lalu lintas ke cluster sekunder. ## Alat **Layanan AWS** + [Amazon Application Recovery Controller****](https://docs.aws.amazon.com/r53recovery/latest/dg/what-is-route53-recovery.html) membantu Anda mengelola dan mengoordinasikan pemulihan aplikasi Anda di seluruh Wilayah AWS dan Availability Zone. Layanan ini menyederhanakan proses dan meningkatkan keandalan pemulihan aplikasi dengan mengurangi langkah-langkah manual yang diperlukan oleh alat dan proses tradisional. + [Application Load Balancer](https://docs.aws.amazon.com/elasticloadbalancing/latest/application/introduction.html) beroperasi pada layer aplikasi, yang merupakan lapisan ketujuh dari model Open Systems Interconnection (OSI). Ini mendistribusikan lalu lintas aplikasi yang masuk di beberapa target, seperti EC2 instance, di beberapa Availability Zone. Hal ini akan meningkatkan ketersediaan aplikasi Anda. + [AWS Command Line Interface (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) adalah alat open source yang membantu Anda berinteraksi Layanan AWS melalui perintah di shell baris perintah Anda. + [Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html) adalah platform data besar yang menyediakan pemrosesan data, analisis interaktif, dan pembelajaran mesin untuk kerangka kerja open source seperti Apache Spark, Apache Hive, dan Presto. + [AWS Identity and Access Management (IAM)](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html) membantu Anda mengelola akses ke AWS sumber daya dengan aman dengan mengontrol siapa yang diautentikasi dan diberi wewenang untuk menggunakannya. + [Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) menyediakan antarmuka layanan web sederhana yang dapat Anda gunakan untuk menyimpan dan mengambil sejumlah data, kapan saja, dari mana saja. Dengan menggunakan layanan ini, Anda dapat dengan mudah membangun aplikasi yang menggunakan penyimpanan asli cloud. + [Titik akhir Gateway untuk Amazon](https://docs.aws.amazon.com/vpc/latest/privatelink/vpc-endpoints-s3.html) S3 adalah gateway yang Anda tentukan dalam tabel rute untuk mengakses Amazon S3 dari virtual private cloud (VPC) melalui jaringan. AWS ## Praktik terbaik + Ikuti [praktik AWS terbaik untuk keamanan, identitas, dan kepatuhan](https://aws.amazon.com/architecture/security-identity-compliance/?cards-all.sort-by=%5b…%5d.sort-order=desc&awsf.content-type=*all&awsf.methodology=*all) untuk memastikan arsitektur yang kuat dan aman. + Sejajarkan arsitektur dengan [AWS Well-Architected](https://aws.amazon.com/architecture/well-architected/) Framework. + Gunakan Amazon S3 Access Grants untuk mengelola akses dari cluster EMR berbasis Spark ke Amazon S3. Untuk detailnya, lihat posting blog [Gunakan Amazon EMR dengan Hibah Akses S3 untuk Menskalakan akses Spark ke](https://aws.amazon.com/blogs/big-data/use-amazon-emr-with-s3-access-grants-to-scale-spark-access-to-amazon-s3/) Amazon S3. + [Tingkatkan kinerja Spark dengan Amazon](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-s3-performance.html) S3. ## Epik ### Siapkan lingkungan Anda | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Masuk ke Konsol Manajemen AWS. | Masuk ke [Konsol Manajemen AWS](https://console.aws.amazon.com/) sebagai pengguna IAM. Untuk instruksi, lihat [AWS dokumentasi](https://docs.aws.amazon.com/signin/latest/userguide/introduction-to-iam-user-sign-in-tutorial.html). | AWS DevOps | | Konfigurasikan AWS CLI. **** | Instal AWS CLI atau perbarui ke versi terbaru sehingga Anda dapat berinteraksi dengan Layanan AWS di Konsol Manajemen AWS. Untuk instruksi, lihat [AWS CLI dokumentasi](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html). | AWS DevOps | ### Menerapkan aplikasi Spark di cluster EMR Anda | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Buat ember S3. | [See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/multi-az-failover-spark-emr-clusters-arc.html) | AWS DevOps | | Buat cluster EMR. | [See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/multi-az-failover-spark-emr-clusters-arc.html) | AWS DevOps | | Konfigurasikan pengaturan keamanan untuk cluster EMR. | [See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/multi-az-failover-spark-emr-clusters-arc.html) | AWS DevOps | | Connect ke cluster EMR. | Connect ke master node dari EMR cluster melalui SSH dengan menggunakan key pair yang disediakan.
Pastikan bahwa file key pair hadir di direktori yang sama dengan aplikasi Anda.
Jalankan perintah berikut untuk mengatur izin yang benar untuk key pair dan untuk membuat koneksi SSH:
chmod 400 
ssh -i ./ hadoop@
| AWS DevOps | | Menyebarkan aplikasi Spark. | Setelah Anda membuat koneksi SSH, Anda akan berada di konsol Hadoop.[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/multi-az-failover-spark-emr-clusters-arc.html) | AWS DevOps | | Pantau aplikasi Spark. | [See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/multi-az-failover-spark-emr-clusters-arc.html) | AWS DevOps | ### Alihkan lalu lintas ke Availability Zone lain | Tugas | Deskripsi | Keterampilan yang dibutuhkan | | --- | --- | --- | | Buat Application Load Balancer. | Siapkan grup target yang merutekan lalu lintas antara node master EMR Amazon yang digunakan di dua Availability Zone dalam file. Wilayah AWS
Untuk petunjuk, lihat [Membuat grup target untuk Application Load Balancer Anda](https://docs.aws.amazon.com/elasticloadbalancing/latest/application/create-target-group.html) dalam dokumentasi Elastic Load Balancing. | AWS DevOps | | Konfigurasikan pergeseran zona di Application Recovery Controller. | Pada langkah ini, Anda akan menggunakan [fitur zonal shift](https://docs.aws.amazon.com/r53recovery/latest/dg/arc-zonal-shift.html) di Application Recovery Controller untuk mengalihkan lalu lintas ke Availability Zone lain.[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/multi-az-failover-spark-emr-clusters-arc.html)
Untuk menggunakan AWS CLI, lihat [Contoh penggunaan AWS CLI dengan pergeseran zona](https://docs.aws.amazon.com/r53recovery/latest/dg/getting-started-cli-zonalshift.html) dalam dokumentasi Application Recovery Controller. | AWS DevOps | | Verifikasi konfigurasi dan kemajuan pergeseran zona. | [See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/patterns/multi-az-failover-spark-emr-clusters-arc.html) | AWS DevOps | ## Sumber daya terkait + AWS CLI perintah: + [buat-cluster](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/create-cluster.html) + [deskripsikan-cluster](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/describe-cluster.html) + [arc-zonal-shift](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/arc-zonal-shift/index.html) + [Mengonfigurasi jenis instans klaster EMR Amazon dan praktik terbaik untuk instans Spot](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html) (dokumentasi EMR Amazon) + [Praktik terbaik keamanan dalam IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html) (dokumentasi IAM) + [Gunakan profil instance](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_use_switch-role-ec2_instance-profiles.html) (dokumentasi IAM) + [Gunakan zonal shift dan zonal autoshift untuk memulihkan aplikasi di ARC (dokumentasi Application Recovery](https://docs.aws.amazon.com/r53recovery/latest/dg/multi-az.html) Controller)