Mengelola cluster EMR Amazon dengan konsol - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengelola cluster EMR Amazon dengan konsol

Konsol ini menawarkan antarmuka yang diperbarui yang memberi Anda cara intuitif untuk mengelola lingkungan EMR Amazon Anda dan memberi Anda akses mudah ke dokumentasi, informasi produk, dan sumber daya lainnya.

Kemampuan konsol

Konsol EMR Amazon tersedia di URL berikut:

Tabel berikut mencantumkan status komponen konsol Amazon EMR utama.

Komponen konsol Amazon EMR Konsol

Studio EMR

Buat dan kelola cluster

Blokir akses publik

Pantau CloudWatch Acara Amazon

Konfigurasi grup keamanan

Cluster virtual (Amazon EMR di EKS)

Lihat dan kelola subnet Amazon Virtual Private Cloud Anda 1

Notebook 2

1 Di konsol, Anda dapat melihat dan mengelola subnet VPC Amazon Anda di dalam bagian Jaringan saat Anda membuat cluster.

2 EMR Notebooks tersedia sebagai EMR Studio Workspaces di konsol. Tombol Create Workspace di konsol memungkinkan Anda membuat notebook baru. Untuk mengakses atau membuat Ruang Kerja, pengguna EMR Notebooks memerlukan izin peran IAM tambahan. Untuk informasi selengkapnya, lihat Amazon EMR Notebook adalah Amazon EMR Studio Workspaces di konsol dan konsol Amazon EMR.

Ringkasan perbedaan

Bagian ini menguraikan kemampuan pengalaman konsol EMR Amazon. Kemampuan ini termasuk dalam kategori berikut:

Kompatibilitas cluster di konsol

Dalam beberapa kasus, cluster yang Anda buat mungkin tidak kompatibel dengan konsol. Daftar berikut menjelaskan persyaratan kompatibilitas untuk konsol EMR Amazon.

  • Konsol mendukung cluster yang dibuat di Amazon EMR rilis 5.20.1 dan yang lebih baru.

  • Anda dapat mengkloning cluster yang menggunakan penskalaan otomatis di konsol, tetapi Anda hanya dapat membuat klaster baru jika Anda ingin menskalakannya secara manual atau menggunakan penskalaan terkelola.

Untuk membuat dan bekerja dengan cluster rilis 5.20.1 dan sebelumnya, Anda dapat menggunakan AWS Command Line Interface (AWS CLI) atau SDK. AWS

Membuat cluster

Kemampuan Konsol

Terminologi: Jenis simpul kluster EMR Amazon

Primer, inti, tugas

Amazon EMR mendukung rilis 1

Amazon EMR rilis 5.20.1 dan yang lebih baru

Meluncurkan cluster dengan cepat

Gunakan tombol Create cluster di bawah panel Summary. Nama cluster Anda tidak dapat berisi karakter <, >, $, |, atau `(backtick).

Mengonfigurasi batas waktu penyediaan Spot

Tentukan periode waktu tunggu untuk penyediaan instance untuk setiap armada di klaster Anda.

Peran layanan dan peran profil EC2 instans Amazon

Konsol tidak membuat peran default; Anda harus membuat peran dengan Konsol IAM atau memilih peran IAM yang sudah dibuat

Visibilitas cluster

Dari dalam konsol EMR Amazon, Anda tidak dapat membuat klaster terlihat oleh semua pengguna; kebijakan IAM Anda menentukan akses klaster

Jaringan - mengkonfigurasi subnet pribadi

Anda harus mengonfigurasi titik akhir Amazon S3 dan gateway NAT dari konsol Amazon S3 dan Amazon VPC masing-masing

Tampilan konsisten Sistem File EMR (EMRFS CV)

Dengan dirilisnya read-after-write konsistensi kuat Amazon S3 pada 1 Desember 2020, Anda tidak perlu menggunakan CV EMRFS dengan kluster EMR Anda

Debugging

Anda dapat men-debug pekerjaan menggunakan antarmuka UI Aplikasi di halaman detail cluster

1 Anda tidak dapat membuat atau mengedit cluster menggunakan rilis lebih awal dari Amazon EMR 5.20.1 di konsol, tetapi cluster yang ada yang dibuat menggunakan rilis lebih awal dari 5.20.1 akan terus berfungsi. Untuk membuat dan mengedit cluster dengan rilis Amazon EMR lebih awal dari 5.20.1, gunakan API atau CLI. Anda dapat melihat semua cluster menggunakan konsol, tetapi konsol yang dibuat lebih awal dari 5.20.1 mungkin bukan fitur baru yang kompatibel.

Melihat dan mencari cluster

Tabel berikut menyoroti bagaimana Anda dapat menggunakan konsol EMR Amazon untuk melihat tampilan dan mencari cluster.

catatan

Menerapkan filter data ke daftar cluster menanyakan seluruh database. Tetapi ketika Anda memasukkan string teks ke dalam kotak pencarian, pencarian hanya berlaku untuk hasil yang daftar telah dimuat sisi klien.

Kemampuan Konsol

Melihat detail cluster

Anda dapat memilih ID Cluster untuk melihat detail klaster lengkap seperti opsi konfigurasi, aplikasi persisten UIs, dan log.

Mencari cluster

Gunakan satu bidang pencarian untuk memasukkan kueri pencarian teks dan untuk membuat dan menerapkan filter data seperti “Status = Status aktif apa pun”.

Menemukan cluster yang gagal

Untuk mencari cluster yang gagal, terapkan filter Status = Diakhiri dengan kesalahan.

Melihat atau mengedit detail cluster

Kemampuan Konsol

Melihat instans di grup instans dan armada instans Anda, bersama dengan opsi penskalaan, penyediaan, pengubahan ukuran, dan penghentian

Lihat opsi dan detail instance di tab Instances. Lihat opsi penghentian di tab Properti.

Melihat aplikasi UIs, log, dan konfigurasi

(Apache Spark UI, layanan Sejarah Spark, Apache Tez UI, server timeline YARN)

Lihat konfigurasi cluster di tab Konfigurasi. Luncurkan UI aplikasi live, persisten, untuk melihat log untuk aplikasi dari tab Applications.

Mengekspor cluster ke CLI

Opsi tersedia dari detail cluster dan tampilan daftar Menu tindakan sebagai “Lihat perintah untuk kloning kloning”

Perbedaan saat Anda bekerja dengan konfigurasi keamanan

Kemampuan Konsol

Konfigurasi keamanan kloning

Tata kelola federasi menggunakan Trino dan Apache Ranger

Menggunakan peran runtime untuk mengirimkan pekerjaan ke klaster 1

Mengotorisasi akses ke data EMR File System (EMRFS)

Titik akses Amazon S3

AWS Lake Formation kontrol akses

Peran runtime

1 Untuk meneruskan peran selama pengiriman langkah, klaster Anda harus menggunakan konfigurasi keamanan dengan kebijakan izin IAM yang dilampirkan sehingga pengguna hanya dapat meneruskan peran yang disetujui dan pekerjaan Anda dapat mengakses sumber daya Amazon EMR. Untuk informasi selengkapnya, lihat Peran runtime untuk langkah-langkah EMR Amazon.