Cluster EMR aktif AWS Outposts - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Cluster EMR aktif AWS Outposts

Dimulai dengan Amazon EMR 5.28.0, Anda dapat membuat dan menjalankan klaster EMR. AWS Outposts AWS Outposts memungkinkan AWS layanan asli, infrastruktur, dan model operasi di fasilitas lokal. Di AWS Outposts lingkungan, Anda dapat menggunakan alat AWS APIs, dan infrastruktur yang sama yang Anda gunakan di AWS Cloud. Amazon EMR aktif AWS Outposts sangat ideal untuk beban kerja latensi rendah yang perlu dijalankan di dekat data dan aplikasi lokal. Untuk informasi selengkapnya AWS Outposts, lihat Panduan AWS Outposts Pengguna.

Prasyarat

Berikut adalah prasyarat untuk menggunakan Amazon EMR pada AWS Outposts:

  • Anda harus telah menginstal dan mengkonfigurasi AWS Outposts di pusat data lokal Anda.

  • Anda harus memiliki koneksi jaringan yang andal antara lingkungan Outpost Anda dan AWS Wilayah.

  • Anda harus memiliki kapasitas yang cukup untuk jenis instans yang didukung Amazon EMR yang tersedia di Outpost Anda.

Batasan

Berikut ini adalah batasan penggunaan Amazon EMR pada AWS Outposts:

  • Instans Sesuai Permintaan adalah satu-satunya opsi yang didukung untuk instans Amazon EC2 . Instans Spot tidak tersedia untuk Amazon EMR pada AWS Outposts.

  • Jika Anda memerlukan volume penyimpanan Amazon EBS tambahan, hanya General Purpose SSD (GP2) yang didukung.

  • Bila Anda menggunakan AWS Outposts dengan Amazon EMR rilis 5.28 hingga 6.x, Anda hanya dapat menggunakan bucket S3 yang menyimpan objek dalam yang Anda tentukan. Wilayah AWS Dengan Amazon EMR 7.0.0 dan yang lebih tinggi, Amazon EMR aktif juga didukung dengan klien AWS Outposts sistem file, awalan. S3A s3a://

  • Hanya jenis instans berikut yang didukung oleh Amazon EMR pada AWS Outposts:

    Kelas instans Tipe instans
    Tujuan umum

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Dioptimalkan komputasi

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Memori-dioptimalkan

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Penyimpanan dioptimalkan

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Pertimbangan konektivitas jaringan

  • Jika konektivitas jaringan antara Outpost Anda dan AWS Wilayahnya hilang, cluster Anda akan terus berjalan. Namun, Anda tidak dapat membuat klaster baru atau mengambil tindakan baru pada klaster yang ada sampai konektivitas dipulihkan. Dalam kasus kegagalan instans, instans tidak akan diganti secara otomatis. Selain itu, tindakan seperti menambahkan langkah ke cluster yang sedang berjalan, memeriksa status eksekusi langkah, dan mengirim CloudWatch metrik dan peristiwa akan ditunda.

  • Kami menyarankan Anda menyediakan konektivitas jaringan yang andal dan sangat tersedia antara Outpost Anda dan AWS Wilayah. Jika konektivitas jaringan antara Outpost Anda dan AWS Wilayahnya hilang selama lebih dari beberapa jam, cluster yang telah mengaktifkan perlindungan terminate akan terus berjalan, dan cluster yang telah menonaktifkan perlindungan terminate dapat dihentikan.

  • Jika konektivitas jaringan akan terpengaruh karena pemeliharaan rutin, sebaiknya aktifkan perlindungan penghentian secara proaktif. Secara lebih umum, gangguan konektivitas berarti bahwa setiap dependensi eksternal yang tidak bersifat lokal ke Outpost atau jaringan pelanggan tidak akan dapat diakses. Ini termasuk Amazon S3, DynamoDB yang digunakan dengan tampilan konsistensi EMRFS, dan Amazon RDS jika instans dalam wilayah digunakan untuk klaster EMR Amazon dengan beberapa node utama.

Membuat cluster EMR Amazon di AWS Outposts

Membuat cluster EMR Amazon AWS Outposts mirip dengan membuat cluster EMR Amazon di Cloud. AWS Saat membuat kluster EMR Amazon aktif AWS Outposts, Anda harus menentukan EC2 subnet Amazon yang terkait dengan Outpost Anda.

VPC Amazon dapat menjangkau semua Availability Zone di suatu AWS Wilayah. AWS Outposts adalah ekstensi dari Availability Zones, dan Anda dapat memperluas VPC Amazon di akun untuk menjangkau beberapa Availability Zone dan lokasi Outpost terkait. Saat Anda mengonfigurasi Outpost, Anda mengaitkan subnet dengannya untuk memperluas lingkungan VPC Regional Anda ke fasilitas on premise. Instans outpost dan layanan terkait muncul sebagai bagian dari VPC Regional Anda, mirip dengan Availability Zone dan subnet terkait. Untuk informasi selengkapnya, lihat AWS Outposts Panduan Pengguna.

Konsol

Untuk membuat kluster EMR Amazon baru AWS Management Console, tentukan EC2 subnet Amazon yang terkait dengan Outpost Anda. AWS Outposts

Console
Untuk membuat cluster AWS Outposts dengan konsol
  1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com /emr.

  2. Di bawah EMR EC2 di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

  3. Di bawah Konfigurasi cluster, pilih Grup instans atau Armada instans. Kemudian, pilih jenis instance dari menu tarik-turun Pilih jenis EC2 instance atau pilih Tindakan dan pilih Tambahkan volume EBS. Amazon EMR AWS Outposts mendukung volume dan jenis instans Amazon EBS terbatas.

  4. Di bawah Networking, pilih EC2 subnet dengan Outpost ID dalam format ini: op-123456789.

  5. Pilih opsi lain yang berlaku untuk cluster Anda.

  6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

CLI
Untuk membuat cluster AWS Outposts dengan AWS CLI
  • Untuk membuat cluster EMR Amazon baru AWS Outposts dengan AWS CLI, tentukan EC2 subnet yang terkait dengan Outpost Anda, seperti pada contoh berikut. Ganti subnet-22XXXX01 dengan ID EC2 subnet Amazon Anda sendiri.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.9.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles