Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pastikan pencatatan EMR Amazon ke Amazon S3 diaktifkan saat peluncuran
Priyanka Chaudhary, Amazon Web Services
Ringkasan
Pola ini menyediakan kontrol keamanan yang memantau konfigurasi logging untuk klaster EMR Amazon yang berjalan di Amazon Web Services (AWS).
Amazon EMR adalah alat AWS untuk pemrosesan dan analisis data besar. Amazon EMR menawarkan layanan konfigurasi rendah yang dapat diperluas sebagai alternatif untuk menjalankan komputasi cluster internal. Amazon EMR menyediakan dua jenis cluster EMR.
Cluster EMR Amazon sementara: Kluster EMR Amazon sementara secara otomatis mati dan berhenti mengeluarkan biaya saat pemrosesan selesai.
Cluster EMR Amazon yang persisten: Cluster EMR Amazon yang persisten terus berjalan setelah pekerjaan pemrosesan data selesai.
Amazon EMR dan Hadoop menghasilkan berkas log yang melaporkan status pada klaster. Secara default, ini ditulis ke node master di direktori mnt/var/log//. Bergantung pada bagaimana Anda mengonfigurasi cluster saat meluncurkannya, Anda juga dapat menyimpan log ini ke Amazon Simple Storage Service (Amazon S3) dan melihatnya melalui alat debugging grafis. Perhatikan bahwa pencatatan Amazon S3 hanya dapat ditentukan saat cluster diluncurkan. Dengan konfigurasi ini, log dikirim dari node utama ke lokasi Amazon S3 setiap 5 menit. Untuk cluster sementara, pencatatan Amazon S3 penting karena cluster menghilang saat pemrosesan selesai, dan file log ini dapat digunakan untuk men-debug pekerjaan yang gagal.
Pola ini menggunakan CloudFormation template AWS untuk menerapkan kontrol keamanan yang memantau panggilan API dan memulai CloudWatch Acara Amazon di "RunJobFlow.” Pemicunya memanggil AWS Lambda, yang menjalankan skrip Python. Fungsi Lambda mengambil ID cluster EMR dari input JSON peristiwa dan juga memeriksa URI log Amazon S3. Jika URI Amazon S3 tidak ditemukan, fungsi Lambda mengirimkan notifikasi Amazon Simple Notification Service (Amazon SNS) Simple Notification Service (Amazon SNS) yang merinci nama cluster EMR, detail pelanggaran, Wilayah AWS, akun AWS, dan Lambda Amazon Resource Name (ARN) tempat notifikasi tersebut bersumber.
Prasyarat dan batasan
Prasyarat
Akun AWS yang aktif
Bucket S3 untuk file.zip kode Lambda
Alamat email tempat Anda ingin menerima pemberitahuan pelanggaran
Batasan
Kontrol detektif ini bersifat regional dan harus diterapkan di Wilayah AWS yang ingin Anda pantau.
Versi produk
Amazon EMR merilis 4.8.0 dan yang lebih baru
Arsitektur
Tumpukan teknologi target
CloudWatch Acara Acara Amazon
Amazon EMR
Fungsi Lambda
Bucket S3
Amazon SNS
Arsitektur target
Otomatisasi dan skala
Jika Anda menggunakan AWS Organizations, Anda dapat menggunakan AWS CloudFormation StackSets untuk menerapkan template ini di beberapa akun yang ingin Anda pantau.
Alat
Alat
AWS CloudFormation — AWS CloudFormation membantu Anda memodelkan dan menyiapkan sumber daya AWS menggunakan infrastruktur sebagai kode.
AWS Cloudwatch Events — AWS CloudWatch Events menghadirkan aliran peristiwa sistem yang mendekati waktu nyata yang menjelaskan perubahan dalam sumber daya AWS.
Amazon EMR - Amazon EMR adalah platform cluster terkelola yang menyederhanakan menjalankan kerangka kerja data besar.
AWS Lambda
— AWS Lambda mendukung menjalankan kode tanpa menyediakan atau mengelola server. Lambda menjalankan kode Anda hanya saat diperlukan dan menskalakan secara otomatis, dari beberapa permintaan per hari hingga ribuan per detik. Amazon S3 - Amazon S3 adalah antarmuka layanan web yang dapat Anda gunakan untuk menyimpan dan mengambil sejumlah data dari mana saja di web.
Amazon SNS — Amazon SNS adalah layanan web yang mengoordinasikan dan mengelola pengiriman atau pengiriman pesan antara penerbit dan klien, termasuk server web dan alamat email.
Kode
File.zip proyek tersedia sebagai lampiran.
Epik
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Tentukan bucket S3. | Untuk meng-host file kode Lambda .zip, pilih atau buat bucket S3 dengan nama unik yang tidak berisi garis miring di depan. Nama bucket S3 unik secara global, dan namespace dibagikan oleh semua akun AWS. Bucket S3 Anda harus berada di Wilayah AWS yang sama dengan cluster EMR Amazon yang sedang dievaluasi. | Arsitek Cloud |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Unggah kode Lambda ke bucket S3. | Unggah file kode Lambda .zip yang disediakan di bagian “Lampiran” ke bucket S3. Bucket S3 harus berada di Wilayah yang sama dengan cluster EMR Amazon yang sedang dievaluasi. | Arsitek Cloud |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Terapkan CloudFormation template AWS. | Di CloudFormation konsol AWS, di Wilayah yang sama dengan bucket S3 Anda, terapkan CloudFormation template AWS yang disediakan sebagai lampiran ke pola ini. Dalam epik berikutnya, berikan nilai untuk parameter. Untuk informasi selengkapnya tentang penerapan CloudFormation templat AWS, lihat bagian “Sumber daya terkait”. | Arsitek Cloud |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Beri nama ember S3. | Masukkan nama bucket S3 yang Anda buat di epik pertama. | Arsitek Cloud |
Berikan kunci Amazon S3. | <directory><file-name>Berikan lokasi file kode Lambda .zip di bucket S3 Anda, tanpa garis miring (misalnya,/.zip). | Arsitek Cloud |
Berikan alamat email. | Berikan alamat email aktif untuk menerima notifikasi Amazon SNS. | Arsitek Cloud |
Tentukan tingkat logging. | Tentukan tingkat logging dan frekuensi untuk fungsi Lambda Anda. “Info” menunjuk pesan informasi terperinci tentang kemajuan aplikasi. “Kesalahan” menunjuk peristiwa kesalahan yang masih memungkinkan aplikasi untuk terus berjalan. “Peringatan” menunjuk situasi yang berpotensi berbahaya. | Arsitek Cloud |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Konfirmasi langganan. | Ketika template berhasil digunakan, ia mengirimkan pesan email berlangganan ke alamat email yang disediakan. Anda harus mengonfirmasi langganan email ini untuk menerima pemberitahuan pelanggaran. | Arsitek Cloud |
Sumber daya terkait
Lampiran
Untuk mengakses konten tambahan yang terkait dengan dokumen ini, unzip file berikut: attachment.zip
