Menegakkan penandaan kluster EMR Amazon saat diluncurkan - AWS Prescriptive Guidance
RingkasanPrasyarat dan batasanArsitekturAlatEpikSumber daya terkaitLampiran

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menegakkan penandaan kluster EMR Amazon saat diluncurkan

Priyanka Chaudhary, Amazon Web Services

Ringkasan

Pola ini memberikan kontrol keamanan yang memastikan bahwa klaster EMR Amazon diberi tag saat dibuat. 

Amazon EMR adalah layanan Amazon Web Services (AWS) untuk memproses dan menganalisis data dalam jumlah besar. Amazon EMR menawarkan layanan konfigurasi rendah yang dapat diperluas sebagai alternatif yang lebih mudah untuk menjalankan komputasi cluster internal. Anda dapat menggunakan penandaan untuk mengkategorikan sumber daya AWS dengan berbagai cara, seperti berdasarkan tujuan, pemilik, atau lingkungan. Misalnya, Anda dapat menandai kluster EMR Amazon Anda dengan menetapkan metadata khusus untuk setiap cluster. Tag terdiri dari kunci dan nilai yang Anda tentukan. Kami menyarankan Anda membuat kumpulan tag yang konsisten untuk memenuhi persyaratan organisasi Anda. Saat Anda menambahkan tag ke kluster EMR Amazon, tag tersebut juga disebarkan ke setiap instans Amazon Elastic Compute Cloud (Amazon EC2) aktif yang terkait dengan cluster. Demikian pula, saat Anda menghapus tag dari kluster EMR Amazon, tag tersebut juga akan dihapus dari setiap EC2 instance aktif yang terkait.

Kontrol detektif memantau panggilan API dan memulai CloudWatch acara Amazon Events untuk RunJobFlow,, AddTagsRemoveTags, dan. CreateTags APIs Acara ini memanggil AWS Lambda, yang menjalankan skrip Python. Fungsi Python mendapatkan ID cluster EMR Amazon dari input JSON dari acara dan melakukan pemeriksaan berikut:

  • Periksa apakah klaster EMR Amazon dikonfigurasi dengan nama tag yang Anda tentukan.

  • Jika tidak, kirim notifikasi Amazon Simple Notification Service (Amazon SNS) kepada pengguna dengan informasi yang relevan: nama klaster Amazon EMR, detail pelanggaran, Wilayah AWS, akun AWS, dan Nama Sumber Daya Amazon (ARN) untuk Lambda tempat notifikasi ini berasal.

Prasyarat dan batasan

Prasyarat

  • Akun AWS yang aktif

  • Bucket Amazon Simple Storage Service (Amazon S3) untuk mengunggah kode Lambda yang disediakan. Atau, Anda dapat membuat bucket S3 untuk tujuan ini, seperti yang dijelaskan di bagian Epik.

  • Alamat email aktif tempat Anda ingin menerima pemberitahuan pelanggaran.

  • Daftar tag wajib yang ingin Anda periksa.

Batasan

  • Kontrol keamanan ini bersifat regional. Anda harus menerapkannya di setiap Wilayah AWS yang ingin Anda pantau.

Versi produk

  • Amazon EMR merilis 4.8.0 dan yang lebih baru.

Arsitektur

Arsitektur alur kerja

Peluncuran cluster, pemantauan menggunakan APIs, pembuatan acara, panggilan fungsi Lambda, pemberitahuan dikirim.

Otomatisasi dan skala

Alat

Layanan AWS

  • AWS CloudFormation — AWS CloudFormation membantu Anda memodelkan dan menyiapkan sumber daya AWS Anda, menyediakannya dengan cepat dan konsisten, serta mengelolanya sepanjang siklus hidupnya. Anda dapat menggunakan template untuk mendeskripsikan sumber daya Anda dan dependensinya, dan meluncurkan dan mengonfigurasinya bersama-sama sebagai tumpukan, alih-alih mengelola sumber daya secara individual. Anda dapat mengelola dan menyediakan tumpukan di beberapa akun AWS dan Wilayah AWS.

  • Amazon CloudWatch Events - Amazon CloudWatch Events menghadirkan aliran peristiwa sistem yang mendekati waktu nyata yang menjelaskan perubahan sumber daya AWS.

  • Amazon EMR - Amazon EMR adalah layanan web yang menyederhanakan menjalankan kerangka kerja data besar dan memproses sejumlah besar data secara efisien.

  • AWS Lambda — AWS Lambda adalah layanan komputasi yang mendukung menjalankan kode tanpa menyediakan atau mengelola server. Lambda menjalankan kode Anda hanya saat diperlukan dan menskalakan secara otomatis, dari beberapa permintaan per hari hingga ribuan per detik. 

  • Amazon S3 - Amazon Simple Storage Service (Amazon S3) Simple Storage Service adalah layanan penyimpanan objek. Anda dapat menggunakan Amazon S3 untuk menyimpan dan mengambil data sebanyak apa pun kapan pun, dari mana pun di web.

  • Amazon SNS — Amazon Simple Notification Service (Amazon SNS) mengoordinasikan dan mengelola pengiriman atau pengiriman pesan antara penerbit dan klien, termasuk server web dan alamat email. Pelanggan menerima semua pesan yang dipublikasikan ke topik tempat mereka berlangganan, dan semua pelanggan ke suatu topik menerima pesan yang sama.

Kode

Pola ini mencakup lampiran berikut:

  • EMRTagValidation.zip— Kode Lambda untuk kontrol keamanan.

  • EMRTagValidation.yml— CloudFormation Template yang mengatur acara dan fungsi Lambda.

Epik

TugasDeskripsiKeterampilan yang dibutuhkan

Tentukan bucket S3.

Di konsol Amazon S3, pilih atau buat bucket S3 untuk meng-host file kode Lambda .zip. Bucket S3 ini harus berada di Wilayah AWS yang sama dengan cluster EMR Amazon yang ingin Anda pantau. Nama bucket Amazon S3 unik secara global, dan namespace-nya digunakan bersama oleh semua akun AWS. Nama bucket S3 tidak dapat menyertakan garis miring terdepan.

Arsitek awan

Unggah kode Lambda.

Unggah file kode Lambda .zip yang disediakan di bagian Lampiran ke bucket S3.                                              

Arsitek awan
TugasDeskripsiKeterampilan yang dibutuhkan

Luncurkan CloudFormation template AWS.

Buka CloudFormation konsol AWS di Wilayah AWS yang sama dengan bucket S3 Anda dan terapkan template. Untuk informasi selengkapnya tentang penerapan CloudFormation templat AWS, lihat Membuat tumpukan di CloudFormation konsol AWS dalam CloudFormation dokumentasi.

Arsitek awan

Lengkapi parameter dalam template.

Ketika Anda meluncurkan template, Anda akan diminta untuk informasi berikut:

  • Bucket S3: Tentukan bucket yang Anda buat atau pilih di epik pertama. Di sinilah Anda mengunggah kode Lambda terlampir (file.zip).

  • Kunci S3 : Tentukan lokasi file.zip Lambda di bucket S3 Anda (misalnya, nama file.zip atau controls/ filename .zip). Jangan sertakan garis miring terdepan.

  • Email pemberitahuan: Berikan alamat email aktif tempat Anda ingin menerima notifikasi Amazon SNS.  

  • Menandai nama kunci: Berikan tag yang ingin Anda periksa, dalam daftar yang dipisahkan koma (misalnya,,ApplicationID,Environment). Owner CloudWatch Acara Acara memantau klaster untuk tag ini dan mengirimkan pemberitahuan jika tidak ditemukan.

  • Level logging Lambda: Tentukan level logging dan frekuensi untuk fungsi Lambda. Gunakan Info untuk mencatat pesan informasi terperinci tentang kemajuan, Kesalahan untuk peristiwa kesalahan yang masih memungkinkan penerapan dilanjutkan, dan Peringatan untuk situasi yang berpotensi berbahaya.                                        

Arsitek awan
TugasDeskripsiKeterampilan yang dibutuhkan

Konfirmasi langganan.

Ketika CloudFormation template berhasil digunakan, ia mengirimkan email berlangganan ke alamat email yang Anda berikan. Anda harus mengonfirmasi langganan email ini untuk mulai menerima pemberitahuan pelanggaran.

Arsitek awan

Sumber daya terkait

Lampiran

Untuk mengakses konten tambahan yang terkait dengan dokumen ini, unzip file berikut: attachment.zip