Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Gunakan AMS SSP untuk menyediakan Amazon EMR di akun AMS Anda
Gunakan mode AMS Self-Service Provisioning (SSP) untuk mengakses kapabilitas Amazon EMR secara langsung di akun terkelola AMS Anda. Amazon EMR adalah platform cloud big data terkemuka di industri untuk memproses sejumlah besar data menggunakan alat open source seperti Apache Spark, Apache Hive, Apache, Apache Flink, Apache Hudi, dan Presto HBase. Dengan Amazon EMR, Anda dapat menjalankan analisis skala Petabyte dengan biaya kurang dari setengah biaya solusi lokal tradisional dan lebih dari 3x lebih cepat daripada Apache Spark standar. Untuk pekerjaan jangka pendek, Anda dapat memutar dan memutar cluster dan membayar per detik untuk instance yang digunakan. Untuk beban kerja yang berjalan lama, Anda dapat membuat klaster yang sangat tersedia yang secara otomatis menskalakan untuk memenuhi permintaan.
Anda dapat membuat satu atau beberapa instance klaster EMR Amazon di akun landing zone multi-akun AMS atau akun landing zone akun tunggal untuk mendukung klaster EMR Amazon sementara dan persisten. Anda juga dapat mengaktifkan otentikasi Kerberos untuk mengaktifkan autentikasi pengguna dari domain Active Directory lokal.
Anda dapat memanfaatkan beberapa penyimpanan data dengan kluster EMR Amazon untuk mendukung alat dan pustaka Hadoop khusus kasus penggunaan. Cluster EMR Amazon dapat dibuat menggunakan instans OnDemand atau Spot dan mengonfigurasi penskalaan otomatis untuk mengelola kapasitas dan mengurangi biaya.
File log cluster dapat diarsipkan ke bucket Amazon S3 untuk logging dan debugging. Anda juga dapat mengakses antarmuka web yang dihosting di klaster EMR Amazon untuk mendukung persyaratan administrasi hadoop atau pengalaman buku catatan bagi pelanggan.
Untuk mempelajari lebih lanjut, lihat Amazon EMR
FAQ Amazon EMR di AWS Managed Services
T: Bagaimana cara meminta akses ke Amazon EMR di akun AMS saya?
Minta akses dengan mengirimkan Manajemen | AWS layanan | Layanan yang disediakan sendiri | Tambahkan (diperlukan ulasan) (ct-3qe6io8t6jtny) mengubah jenis. RFC ini menyediakan peran IAM berikut ke akun Anda:
customer_emr_cluster_instance_profilecustomer_emr_cluster_autoscaling_rolecustomer_emr_console_rolecustomer_emr_cluster_service_role
Setelah disediakan di akun Anda, Anda harus memasukkan customer_emr_console_role di solusi federasi Anda.
T: Apa batasan untuk menggunakan Amazon EMR di akun AMS saya?
Saat membuat Amazon EMR di EC2 cluster dari konsol AWS, kami menyarankan Anda untuk menggunakan opsi Create Cluster — Advanced. Cluster EMR Amazon harus dibuat dengan menambahkan tag dengan Kunci "for-use-with-amazon-emr-managed-policies" dengan Nilai “benar”. Pilih konfigurasi berikut di opsi Keamanan:
Pilih peran khusus untuk klaster Anda:
Peran EMR: customer_emr_cluster_service_role
EC2 Profil Contoh: customer_emr_cluster_instance_profile
Peran Auto Scaling: customer_emr_cluster_autoscaling_role
EC2 Grup keamanan:
Master: ams-emr-master-security -grup
Inti & Tugas: ams-emr-worker-security -grup
Akses Layanan: ams-emr-serviceaccess-security -group
T: Apa prasyarat atau dependensi untuk menggunakan Amazon EMR di akun AMS saya?
AMS membuat grup keamanan default untuk master, pekerja, dan node layanan EMR Amazon.
Template peluncuran dan grup keamanan yang akan digunakan dengan cluster EMR Amazon harus memiliki kunci tag "for-use-with-amazon-emr-managed-policies" dengan nilai “true”.
Profil instans cluster Amazon EMR default memungkinkan akses ke sumber daya seperti bucket s3 dan tabel dynamodb dengan namanya yang berisi “emr”. Anda dapat meminta kebijakan IAM tambahan untuk menggunakan sumber daya tambahan apa pun yang akan digunakan dengan Amazon EMR. Sumber daya ARN berikut dapat digunakan dengan pekerjaan EMR Amazon menggunakan customer_emr_cluster_instance_profile:
arn:aws:dynamodb: *:*:tabel/*emr*
arn:aws:kinesis: *:*:stream/*emr*
arn:aws:sns: *:*: *emr*arn:aws:sqs: *:*: *emr*
arn:aws:sqs: *:*: *emr*
arn:aws:sqs: *:*:AWS- -* ElasticMapReduce
arn:aws:sdb: *:*:domain: *emr*
arn:aws:s3: ::*emr*
Jika otentikasi kerberos diperlukan untuk cluster EMR Amazon:
Berikan nama ranah yang akan digunakan untuk setiap kluster EMR Amazon kerberisasi dan alamat IP Direktori Aktif di lokasi.
Persyaratan infrastruktur:
Multi-Account Landing Zone (MALZ): Kirim RFC untuk membuat akun aplikasi Terkelola baru atau VPC baru di akun aplikasi yang ada.
Single-Account Landing Zone (SALZ): Kirim RFC untuk membuat subnet baru di VPC Anda.
Konfigurasikan kepercayaan yang masuk untuk ranah klaster di Active Directory di lokasi.
Kirim RFC untuk mengonfigurasi zona DNS untuk ranah di AD Terkelola.
Konfigurasi Realm:
MALZ: Kirim Manajemen | Lainnya | Lainnya | Perbarui (ct-0xdawir96cy7k) RFC untuk memperbarui opsi VPC DHCP yang disetel untuk menggunakan nama ranah untuk akhiran nama domain.
SALZ: Kirim Manajemen | Lainnya | Lainnya | Perbarui (ct-0xdawir96cy7k) RFC untuk menghasilkan AMI EMR Amazon baru untuk menggunakan ranah khusus untuk akhiran nama domain.
Untuk menyebarkan Amazon EMR studio, customer_emr_cluster_service_role peran tersebut memiliki prasyarat untuk bucket Amazon Simple Storage Service. Untuk membuat bucket, gunakan CT otomatis ct-1a68ck03fn98r (Deployment | Advanced stack components | S3 storage | Create). Saat Anda menggunakan CT otomatis ini untuk membuat bucket Amazon S3 untuk Amazon EMR, nama bucket harus dimulai dengan awalan. customer-emr-* Dan, Anda harus membuat bucket di AWS Wilayah yang sama dengan cluster EMR Amazon.
