Versi aplikasi 5.32.0 Catatan terbitan 5.32.0 Versi komponen 5.32.0 5.32.0 klasifikasi konfigurasi

Amazon EMR rilis 5.32.0

Versi aplikasi 5.32.0

Rilis ini mencakup aplikasi berikut: Flink Ganglia, HBase, HCatalog, Hadoop, Hive, Hudi Hue, JupyterEnterpriseGateway, JupyterHub, Livy, MXNet, Mahout, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, Zeppelin, dan ZooKeeper.

Tabel di bawah ini mencantumkan versi aplikasi yang tersedia dalam rilis Amazon EMR ini dan versi aplikasi dalam tiga rilis Amazon EMR sebelumnya (jika berlaku).

Untuk riwayat lengkap versi aplikasi untuk setiap rilis Amazon EMR, lihat topik berikut:

Informasi versi aplikasi
	emr-5.32.0	emr-5.31.1	emr-5.31.0	emr-5.30.2
AWS SDK untuk Java	1.11.890	1.11.852	1.11.852	1.11.759
Python	2,7, 3,7	2,7, 3,7	2,7, 3,7	2,7, 3,7
Skala	2.11.12	2.11.12	2.11.12	2.11.12
AmazonCloudWatchAgent	-	-	-	-
Delta	-	-	-	-
Flink	1.11.2	1.11.0	1.11.0	1.10.0
Ganglia	3.7.2	3.7.2	3.7.2	3.7.2
HBase	1.4.13	1.4.13	1.4.13	1.4.13
HCatalog	2.3.7-amzn-3	2.3.7-amzn-1	2.3.7-amzn-1	2.3.6-amzn-2
Hadoop	2.10.1-amzn-0	2.10.0-amzn-0.1	2.10.0-amzn-0	2.8.5-amzn-6.1
Hive	2.3.7-amzn-3	2.3.7-amzn-1	2.3.7-amzn-1	2.3.6-amzn-2
Hudi	0.6.0-amzn-0	0.6.0-amzn-0	0.6.0-amzn-0	0.5.2-incubating
Hue	4.8.0	4.7.1	4.7.1	4.6.0
Iceberg	-	-	-	-
JupyterEnterpriseGateway	2.1.0	-	-	-
JupyterHub	1.1.0	1.1.0	1.1.0	1.1.0
Livy	0.7.0-incubating	0.7.0-incubating	0.7.0-incubating	0.7.0-incubating
MXNet	1.7.0	1.6.0	1.6.0	1.5.1
Mahout	0.13.0	0.13.0	0.13.0	0.13.0
Oozie	5.2.0	5.2.0	5.2.0	5.2.0
Phoenix	4.14.3- HBase-1.4	4.14.3- HBase-1.4	4.14.3- HBase-1.4	4.14.3- HBase-1.4
Pig	0.17.0	0.17.0	0.17.0	0.17.0
Presto	0.240.1-amzn-0	0.238.3-amzn-0	0.238.3-amzn-0	0.232
Spark	2.4.7-amzn-0	2.4.6-amzn-0.1	2.4.6-amzn-0	2.4.5-amzn-0.1
Sqoop	1.4.7	1.4.7	1.4.7	1.4.7
TensorFlow	2.3.1	2.1.0	2.1.0	1.14.0
Tez	0.9.2	0.9.2	0.9.2	0.9.2
Trino (PrestoSQL)	-	-	-	-
Zeppelin	0.8.2	0.8.2	0.8.2	0.8.2
ZooKeeper	3.4.14	3.4.14	3.4.14	3.4.14

Catatan terbitan 5.32.0

Catatan rilis berikut mencakup informasi untuk Amazon EMR rilis 5.32.0. Perubahan bersifat relatif terhadap 5.31.0.

Tanggal rilis awal: 8 Januari 2021

Peningkatan

Konektor Amazon Glue telah di-upgrade ke versi 1.14.0
Upgrade Amazon SageMaker Spark SDK ke versi 1.4.1
Ditingkatkan AWS SDK for Java ke versi 1.11.890
EMR DynamoDB Connector telah di-upgrade ke versi 4.16.0
EMRFS telah di-upgrade ke versi 2.45.0
EMR Log Analytics Metrics telah di-upgrade ke versi 1.18.0
MetricsAndEventsApiGateway Klien EMR yang ditingkatkan ke versi 1.5.0
EMR Record Server telah di-upgrade ke versi 1.8.0
EMR S3 Dist CP telah di-upgrade ke versi 2.17.0
EMR Secret Agent telah di-upgrade ke versi 1.7.0
Flink telah di-upgrade ke versi 1.11.2
Hadoop telah di-upgrade ke versi 2.10.1-amzn-0
Hive telah di-upgrade ke versi 2.3.7-amzn-3
Hue telah di-upgrade ke versi 4.8.0
Mxnet telah di-upgrade ke versi 1.7.0
OpenCV telah di-upgrade ke versi 4.4.0
Presto telah di-upgrade ke versi 0.240.1-amzn-0
Spark telah di-upgrade ke versi 2.4.7-amzn-0
Diting TensorFlow katkan ke versi 2.3.1

Perubahan, penyempurnaan, dan masalah yang diselesaikan

Ini adalah rilis untuk memperbaiki masalah dengan Amazon EMR Scaling ketika gagal up/scale menurunkan skala cluster dengan sukses atau menyebabkan kegagalan aplikasi.
Memperbaiki masalah ketika permintaan penskalaan gagal untuk cluster besar yang banyak digunakan saat daemon on-cluster Amazon EMR menjalankan aktivitas pemeriksaan kesehatan, seperti mengumpulkan status node YARN dan status simpul HDFS. Ini terjadi karena daemon on-cluster tidak dapat mengkomunikasikan data status kesehatan node ke komponen Amazon EMR internal.
Peningkatan daemon on-cluster EMR untuk melacak status node dengan benar ketika alamat IP digunakan kembali untuk meningkatkan keandalan selama operasi penskalaan.
SPARK-29683. Memperbaiki masalah ketika kegagalan pekerjaan terjadi selama penurunan skala cluster karena Spark mengasumsikan semua node yang tersedia dicantumkan di daftar yang dibantah.
YARN-9011. Memperbaiki masalah ketika kegagalan pekerjaan terjadi karena kondisi balapan dalam penonaktifan YARN saat cluster mencoba menaikkan atau menurunkan skala.
Memperbaiki masalah dengan kegagalan langkah atau pekerjaan selama penskalaan cluster dengan memastikan bahwa status node selalu konsisten antara daemon on-cluster Amazon EMR dan. YARN/HDFS
Memperbaiki masalah ketika operasi cluster seperti penurunan skala dan pengiriman langkah gagal untuk cluster Amazon EMR yang diaktifkan dengan otentikasi Kerberos. Ini karena daemon on-cluster Amazon EMR tidak memperbarui tiket Kerberos, yang diperlukan untuk berkomunikasi dengan aman dengan HDFS/YARN berjalan di node utama.
Rilis Amazon EMR yang lebih baru memperbaiki masalah dengan batas “Max open files” yang lebih rendah pada AL2 yang lebih lama di Amazon EMR. Amazon EMR merilis 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 dan yang lebih baru sekarang menyertakan perbaikan permanen dengan pengaturan “Max open files” yang lebih tinggi.
Versi komponen yang telah ditingkatkan.
Untuk daftar versi komponen, lihat Tentang Rilis Amazon EMR dalam panduan ini.

Fitur baru

Dimulai dengan Amazon EMR 5.32.0 dan 6.5.0, ukuran eksekutor dinamis untuk Apache Spark diaktifkan secara default. Untuk mengaktifkan atau menonaktifkan fitur ini, Anda dapat menggunakan parameter spark.yarn.heterogeneousExecutors.enabled konfigurasi.
Status support Instance Metadata Service (IMDS) V2: Amazon EMR 5.23.1, 5.27.1 dan 5.32 atau komponen yang lebih baru menggunakan IMDSv2 untuk semua panggilan IMDS. Untuk panggilan IMDS dalam kode aplikasi Anda, Anda dapat menggunakan IMDSv1 dan IMDSv2, atau mengkonfigurasi IMDS untuk hanya menggunakan IMDSv2 untuk keamanan tambahan. Untuk rilis EMR seri 5.x lainnya, menonaktifkan IMDSv1 akan menyebabkan gagal mulai klaster.
Dimulai dengan Amazon EMR 5.32.0, Anda dapat meluncurkan sebuah klaster yang terintegrasi secara asli dengan Apache Ranger. Apache Ranger adalah kerangka kerja sumber terbuka untuk mengaktifkan, memantau, dan mengelola keamanan data komprehensif di seluruh platform Hadoop. Untuk informasi selengkapnya, lihat Apache Ranger. Dengan integrasi asli, Anda dapat membawa Apache Ranger Anda sendiri untuk memberlakukan kendali akses data halus di Amazon EMR. Lihat Mengintegrasikan Amazon EMR dengan Apache Ranger di Panduan Rilis Amazon EMR.
Amazon EMR Rilis 5.32.0 mendukung Amazon EMR di EKS. Untuk rincian lebih lanjut tentang memulai dengan EMR pada EKS, lihat Apa itu Amazon EMR di EKS.
Amazon EMR Rilis 5.32.0 mendukung Amazon EMR Studio (Pratinjau). Untuk detail lebih lanjut tentang memulai EMR Studio, lihat Amazon EMR Studio (Pratinjau).
Kebijakan terkelola dengan cakupan: Untuk menyelaraskan dengan praktik AWS terbaik, Amazon EMR telah memperkenalkan kebijakan ter EMR-scoped kelola default v2 sebagai pengganti kebijakan yang tidak akan digunakan lagi. Lihat Kebijakan Terkelola Amazon EMR.

Masalah yang diketahui

Untuk cluster subnet pribadi Amazon EMR 6.3.0 dan 6.2.0, Anda tidak dapat mengakses UI web Ganglia. Anda akan mendapatkan pesan kesalahan "akses ditolak (403)". UI web lainnya, seperti Spark, Hue, Zeppelin JupyterHub, Livy, dan Tez bekerja secara normal. Akses UI web Ganglia pada klaster subnet publik juga bekerja secara normal. Untuk mengatasi masalah ini, mulai ulang layanan httpd pada node utama dengansudo systemctl restart httpd. Masalah ini diperbaiki di Amazon EMR 6.4.0.
Turunkan batas “Max open files” pada AL2 yang lebih lama [diperbaiki dalam rilis yang lebih baru]. Rilis Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, dan emr-6.2.0 didasarkan pada versi lama Amazon Linux 2 (AL2), yang memiliki pengaturan ulimit yang lebih rendah untuk “Max open files” saat cluster Amazon EMR dibuat dengan AMI default. Amazon EMR merilis 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 dan yang lebih baru menyertakan perbaikan permanen dengan pengaturan “Max open files” yang lebih tinggi. Rilis dengan batas file terbuka yang lebih rendah menyebabkan kesalahan “Terlalu banyak file terbuka” saat mengirimkan pekerjaan Spark. Dalam rilis yang terkena dampak, AMI default Amazon EMR memiliki pengaturan ulimit default 4096 untuk “Max open files,” yang lebih rendah dari batas file 65536 di AMI Amazon Linux 2 terbaru. Pengaturan ulimit yang lebih rendah untuk "Maksimal file terbuka" menyebabkan kegagalan tugas Spark ketika driver dan pelaksana mencoba untuk membuka lebih dari 4096 file. Untuk memperbaiki masalah, Amazon EMR memiliki skrip tindakan bootstrap (BA) yang menyesuaikan pengaturan ulimit saat pembuatan klaster.

Jika Anda menggunakan versi Amazon EMR lama yang tidak memiliki perbaikan permanen untuk masalah ini, solusi berikut memungkinkan Anda untuk secara eksplisit mengatur ulimit instance-controller ke maksimum 65536 file.
Mengatur secara eksplisit ulimit dari baris perintah
1. Edit /etc/systemd/system/instance-controller.service untuk menambahkan parameter berikut ke bagian Layanan.
  
  LimitNOFILE=65536
  
  LimitNPROC=65536
2. Mulai ulang InstanceController
  
  $ sudo systemctl daemon-reload
  
  $ sudo systemctl restart instance-controller
Tetapkan ulimit menggunakan tindakan bootstrap (BA)

Anda juga dapat menggunakan skrip tindakan bootstrap (BA) untuk mengkonfigurasi ulimit instans-pengendali menjadi 65536 file saat pembuatan klaster.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
penting
Cluster EMR yang menjalankan Amazon Linux atau Amazon Linux 2 Amazon Machine Images (AMI) menggunakan perilaku Amazon Linux default, dan tidak secara otomatis mengunduh dan menginstal pembaruan kernel penting dan penting yang memerlukan reboot. Ini adalah perilaku yang sama dengan instans Amazon EC2 lainnya yang menjalankan AMI Amazon Linux default. Jika pembaruan perangkat lunak Amazon Linux baru yang memerlukan reboot (seperti pembaruan kernel, NVIDIA, dan CUDA) tersedia setelah rilis Amazon EMR tersedia, instans cluster EMR yang menjalankan AMI default tidak secara otomatis mengunduh dan menginstal pembaruan tersebut. Untuk mendapatkan pembaruan kernel, Anda dapat menyesuaikan Amazon EMR AMI menjadi gunakan Amazon Linux AMI terbaru.
Dukungan konsol untuk membuat konfigurasi keamanan yang menentukan opsi integrasi AWS Ranger saat ini tidak didukung di Wil GovCloud ayah. Konfigurasi keamanan dapat dilakukan dengan menggunakan CLI. Lihat Membuat Konfigurasi Keamanan EMR di Panduan Pengelolaan Amazon EMR.

Ketika AtRestEncryption enkripsi HDFS diaktifkan pada cluster yang menggunakan Amazon EMR 5.31.0 atau 5.32.0, kueri Hive menghasilkan pengecualian runtime berikut.


TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

Saat menggunakan Spark dengan pemformatan lokasi partisi Hive untuk membaca data di Amazon S3, dan menjalankan Spark di Amazon EMR rilis 5.30.0 hingga 5.36.0, dan 6.2.0 hingga 6.9.0, Anda mungkin mengalami masalah yang mencegah cluster membaca data dengan benar. Hal ini dapat terjadi jika partisi Anda memiliki semua karakteristik berikut:
- Dua atau lebih partisi dipindai dari tabel yang sama.
- Setidaknya satu jalur direktori partisi adalah awalan dari setidaknya satu jalur direktori partisi lainnya, misalnya, s3://bucket/table/p=a adalah awalan daris3://bucket/table/p=a b.
- Karakter pertama yang mengikuti awalan di direktori partisi lain memiliki UTF-8 nilai yang kurang dari / karakter (U+002F). Misalnya, karakter spasi (U+0020) yang terjadi antara a dan b dalam termasuk dalam kategori s3://bucket/table/p=a b ini. Perhatikan bahwa ada 14 karakter non-kontrol lainnya:!"#$%&‘()*+,-. Untuk informasi selengkapnya, lihat tabel UTF-8 pengkodean dan karakter Unicode.
Sebagai solusi untuk masalah ini, atur spark.sql.sources.fastS3PartitionDiscovery.enabled konfigurasi ke false dalam klasifikasispark-defaults.

Versi komponen 5.32.0

Komponen yang diinstal oleh Amazon EMR dengan rilis ini tercantum di bawah ini. Beberapa komponen diinstal sebagai bagian dari paket aplikasi big data. Sedangkan komponen lainnya bersifak unik untuk Amazon EMR dan diinstal untuk proses sistem dan fitur. Ini biasanya dimulai dengan emr atauaws. Big-data paket aplikasi dalam rilis Amazon EMR terbaru biasanya versi terbaru yang ditemukan di komunitas. Kami menyediakan rilis komunitas di Amazon EMR secepat mungkin.

Beberapa komponen yang ada di Amazon EMR berbeda dari versi komunitas. Komponen ini mempunyai label versi dalam bentuk CommunityVersion-amzn-EmrVersion. EmrVersion dimulai dari 0. Misalnya, jika komponen komunitas open source bernama myapp-component dengan versi 2.2 telah dimodifikasi tiga kali untuk dimasukkan dalam rilis Amazon EMR yang berbeda, versi rilisnya terdaftar sebagai2.2-amzn-2.

Komponen	Versi	Deskripsi
aws-sagemaker-spark-sdk	1.4.1	SDK Amazon SageMaker Spark
emr-ddb	4.16.0	Konektor Amazon DynamoDB untuk aplikasi ekosistem Hadoop.
emr-goodies	2.13.0	Perpustakaan kenyamanan ekstra untuk ekosistem Hadoop.
emr-kinesis	3.5.0	Konektor Amazon Kinesis untuk aplikasi ekosistem Hadoop.
emr-notebook-env	1.1.0	Conda env untuk emr notebook yang mencakup gateway jupyter korporasi
emr-s3-dist-cp	2.17.0	Aplikasi salinan terdistribusi yang dioptimalkan untuk Amazon S3.
emr-s3-select	1.6.0	EMR S3Select Connector
emrfs	2.45.0	Konektor Amazon S3 untuk aplikasi ekosistem Hadoop.
flink-client	1.11.2	Skrip dan aplikasi klien baris perintah Apache Flink.
flink-jobmanager-config	1.11.2	Mengelola sumber daya pada node EMR untuk Apache F JobManager link.
ganglia-monitor	3.7.2	Agen Ganglia tertanam untuk aplikasi ekosistem Hadoop bersama dengan agen pemantauan Ganglia.
ganglia-metadata-collector	3.7.2	Kolektor metadata Ganglia untuk menggabungkan metrik dari agen pemantauan Ganglia.
ganglia-web	3.7.1	Aplikasi web untuk melihat metrik yang dikumpulkan oleh kolektor metadata Ganglia.
hadoop-client	2.10.1-amzn-0	Klien baris perintah Hadoop seperti 'hdfs', 'Hadoop', atau 'yarn'.
hadoop-hdfs-datanode	2.10.1-amzn-0	Layanan tingkat simpul HDFS untuk menyimpan blok.
hadoop-hdfs-library	2.10.1-amzn-0	Klien dan perpustakaan baris perintah HDFS
hadoop-hdfs-namenode	2.10.1-amzn-0	Layanan HDFS untuk melacak nama file dan lokasi blok.
hadoop-hdfs-journalnode	2.10.1-amzn-0	Layanan HDFS untuk mengelola jurnal filesystem Hadoop pada klaster HA.
hadoop-httpfs-server	2.10.1-amzn-0	Titik akhir HTTP untuk operasi HDFS.
hadoop-kms-server	2.10.1-amzn-0	Server manajemen kunci kriptografi berdasarkan API Hadoop. KeyProvider
hadoop-mapred	2.10.1-amzn-0	MapReduce pustaka mesin eksekusi untuk menjalankan MapReduce aplikasi.
hadoop-yarn-nodemanager	2.10.1-amzn-0	Layanan YARN untuk mengelola kontainer pada simpul individu.
hadoop-yarn-resourcemanager	2.10.1-amzn-0	Layanan YARN untuk mengalokasikan dan mengelola sumber daya klaster dan aplikasi terdistribusi.
hadoop-yarn-timeline-server	2.10.1-amzn-0	Layanan untuk mengambil informasi terkini dan historis untuk aplikasi YARN.
hbase-hmaster	1.4.13	Layanan untuk klaster HBase bertanggung jawab untuk koordinasi Wilayah dan pelaksanaan perintah administratif.
hbase-region-server	1.4.13	Layanan untuk melayani satu wilayah HBase atau lebih.
hbase-client	1.4.13	Klien baris perintah HBase.
hbase-rest-server	1.4.13	Layanan menyediakan titik akhir HTTP penuh REST untuk HBase.
hbase-thrift-server	1.4.13	Layanan yang menyediakan titik akhir Thrift untuk HBase.
hcatalog-client	2.3.7-amzn-3	Klien baris perintah 'hcat' untuk memanipulasi hcatalog-server.
hcatalog-server	2.3.7-amzn-3	Layanan yang menyediakan HCatalog, lapisan tabel dan pengelolaan penyimpanan untuk aplikasi terdistribusi.
hcatalog-webhcat-server	2.3.7-amzn-3	Titik akhir HTTP yang menyediakan antarmuka REST untuk HCatalog.
hive-client	2.3.7-amzn-3	Klien baris perintah Hive.
hive-hbase	2.3.7-amzn-3	Hive-hbase klien.
hive-metastore-server	2.3.7-amzn-3	Layanan untuk mengakses metastore Hive, repositori semantik yang menyimpan metadata untuk SQL pada operasi Hadoop.
hive-server2	2.3.7-amzn-3	Layanan untuk menerima kueri Hive sebagai permintaan web.
hudi	0.6.0-amzn-0	Kerangka kerja pemrosesan tambahan untuk menyalakan alur data pada latensi rendah dan efisiensi tinggi.
hudi-spark	0.6.0-amzn-0	Perpustakaan paket untuk menjalankan Spark dengan Hudi.
hudi-presto	0.6.0-amzn-0	Perpustakaan paket untuk menjalankan Presto dengan Hudi.
hue-server	4.8.0	Aplikasi web untuk menganalisis data menggunakan aplikasi ekosistem Hadoop
jupyterhub	1.1.0	Multi-user server untuk notebook Jupyter
livy-server	0.7.0-incubating	Antarmuka REST untuk berinteraksi dengan Apache Spark
nginx	1.12.1	nginx [engine x] adalah server HTTP dan server proksi balik
mahout-client	0.13.0	Perpustakaan untuk machine learning.
mxnet	1.7.0	Perpustakaan yang fleksibel, dapat diskalakan, dan efisien untuk deep learning.
mariadb-server	5.5.68	Server basis data MySQL.
nvidia-cuda	10.1.243	Driver Nvidia dan kit alat Cuda
oozie-client	5.2.0	Klien baris perintah Oozie.
oozie-server	5.2.0	Layanan untuk menerima permintaan alur kerja Oozie.
opencv	4.4.0	Perpustakaan Visi Komputer Sumber Terbuka.
phoenix-library	4.14.3- HBase-1.4	Perpustakaan phoenix untuk server dan klien
phoenix-query-server	4.14.3- HBase-1.4	Sebuah server ringan yang menyediakan akses JDBC serta Protocol Buffers dan akses format JSON ke API Avatica
presto-coordinator	0.240.1-amzn-0	Layanan untuk menerima kueri dan mengelola eksekusi kueri antara presto-worker.
presto-worker	0.240.1-amzn-0	Layanan untuk mengeksekusi potongan kueri.
presto-client	0.240.1-amzn-0	Klien baris perintah Presto yang diinstal pada master klaster HA yang siaga di mana server Presto server tidak dimulai.
pig-client	0.17.0	Klien baris perintah Pig.
r	3.4.3	Proyek R untuk Komputasi Statistik
ranger-kms-server	1.2.0	Sistem Pengelolaan Kunci Ranger Apache
spark-client	2.4.7-amzn-0	Klien baris perintah Spark.
spark-history-server	2.4.7-amzn-0	Web UI untuk melihat log acara untuk seluruh masa pakai aplikasi Spark.
spark-on-yarn	2.4.7-amzn-0	In-memory mesin eksekusi untuk YARN.
spark-yarn-slave	2.4.7-amzn-0	Perpustakaan Apache Spark yang dibutuhkan oleh slave YARN.
sqoop-client	1.4.7	Klien baris perintah Apache Sqoop.
tensorflow	2.3.1	TensorFlow perpustakaan perangkat lunak open source untuk komputasi numerik kinerja tinggi.
tez-on-yarn	0.9.2	Aplikasi dan perpustakaan tez YARN.
webserver	2.4.25+	Server HTTP Apache.
zeppelin-server	0.8.2	Web-based notebook yang memungkinkan analisis data interaktif.
zookeeper-server	3.4.14	Layanan terpusat untuk menjaga informasi konfigurasi, penamaan, yang menyediakan sinkronisasi terdistribusi, dan menyediakan layanan grup.
zookeeper-client	3.4.14	ZooKeeper klien baris perintah.

5.32.0 klasifikasi konfigurasi

Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti hive-site.xml. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.

Tindakan konfigurasi ulang terjadi ketika Anda menentukan konfigurasi untuk grup instans di klaster yang sedang berjalan. Amazon EMR hanya memulai tindakan konfigurasi ulang untuk klasifikasi yang Anda ubah. Untuk informasi selengkapnya, lihat Lakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan.

klasifikasi emr-5.32.0
Klasifikasi	Deskripsi	Tindakan Konfigurasi Ulang
capacity-scheduler	Ubah nilai dalam file capacity-scheduler.xml Hadoop.	Restarts the ResourceManager service.
container-executor	Ubah nilai dalam file container-executor.cfg Hadoop YARN ini.	Not available.
container-log4j	Ubah nilai dalam file container-log4j.properties Hadoop YARN.	Not available.
core-site	Ubah nilai dalam file core-site.xml Hadoop.	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.
docker-conf	Ubah pengaturan terkait docker.	Not available.
emrfs-site	Ubah pengaturan EMRFS.	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.
flink-conf	Ubah pengaturan flink-conf.yaml.	Restarts Flink history server.
flink-log4j	Ubah pengaturan log4j.properties Flink.	Restarts Flink history server.
flink-log4j-yarn-session	Ubah pengaturan log4j-yarn-session.properties Flink.	Not available.
flink-log4j-cli	Ubah pengaturan log4j-cli.properties Flink.	Restarts Flink history server.
hadoop-env	Ubah nilai dalam lingkungan Hadoop untuk semua komponen Hadoop.	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.
hadoop-log4j	Ubah nilai dalam file log4j.properties Hadoop ini.	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.
hadoop-ssl-server	Ubah konfigurasi server ssl hadoop	Not available.
hadoop-ssl-client	Ubah konfigurasi klien ssl hadoop	Not available.
hbase	Peng EMR-curated aturan Amazon untuk Apache HBase.	Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.
hbase-env	Ubah nilai dalam lingkungan HBase ini.	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.
hbase-log4j	Ubah nilai dalam file hbase-log4j.properties HBase.	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.
hbase-metrics	Ubah nilai dalam file hadoop-metrics2-hbase.properties HBase.	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.
hbase-policy	Ubah nilai dalam file hbase-policy.xml HBase.	Not available.
hbase-site	Ubah nilai dalam file hbase-site.xml HBase.	Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.
hdfs-encryption-zones	Konfigurasikan zona enkripsi HDFS.	Should not be reconfigured.
hdfs-site	Ubah nilai dalam hdfs-site.xml HDFS.	Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.
hcatalog-env	Ubah nilai dalam lingkungan HCatalog.	Restarts Hive HCatalog Server.
hcatalog-server-jndi	Mengubah nilai dalam jndi.properties HCatalog ini.	Restarts Hive HCatalog Server.
hcatalog-server-proto-hive-site	Ubah nilai dalam proto-hive-site.xml HCatalog.	Restarts Hive HCatalog Server.
hcatalog-webhcat-env	Ubah nilai dalam lingkungan HCatalog WebHCAT.	Restarts Hive WebHCat Server.
hcatalog-webhcat-log4j2	Ubah nilai dalam log4j2.properties HCatalog WebHCAT.	Restarts Hive WebHCat Server.
hcatalog-webhcat-site	Ubah nilai dalam file webhcat-site.xml HCatalog WebHCAT.	Restarts Hive WebHCat Server.
hive-beeline-log4j2	Ubah nilai dalam file beeline-log4j2.properties Hive.	Not available.
hive-parquet-logging	Ubah nilai dalam file parquet-logging.properties Hive.	Not available.
hive-env	Ubah nilai dalam lingkungan Hive.	Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore.
hive-exec-log4j2	Ubah nilai dalam file hive-exec-log4j2.properties Hive.	Restarts HiveServer2 and HiveMetastore.
hive-llap-daemon-log4j2	Ubah nilai dalam file llap-daemon-log4j2.properties Hive.	Not available.
hive-log4j2	Ubah nilai dalam file hive-log4j2.properties Hive.	Not available.
hive-site	Ubah nilai dalam file hive-site.xml Hive	Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.
hiveserver2-site	Ubah nilai dalam file hiveserver2-site.xml Hive Server2	Not available.
hue-ini	Ubah nilai dalam file ini Hue	Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.
httpfs-env	Ubah nilai di lingkungan HTTPFS.	Restarts Hadoop Httpfs service.
httpfs-site	Ubah nilai dalam file httpfs-site.xml Hadoop.	Restarts Hadoop Httpfs service.
hadoop-kms-acls	Ubah nilai dalam file kms-acls.xml Hadoop.	Not available.
hadoop-kms-env	Ubah nilai dalam lingkungan Hadoop KMS.	Restarts Hadoop-KMS service.
hadoop-kms-log4j	Ubah nilai dalam file kms-log4j.properties Hadoop.	Not available.
hadoop-kms-site	Ubah nilai dalam file kms-site.xml Hadoop.	Restarts Hadoop-KMS and Ranger-KMS service.
hudi-env	Ubah nilai di lingkungan Hudi.	Not available.
jupyter-notebook-conf	Ubah nilai dalam file jupyter_notebook_config.py Jupyter Notebook.	Not available.
jupyter-hub-conf	Ubah nilai dalam JupyterHubs file jupyterhub_config.py.	Not available.
jupyter-s3-conf	Konfigurasikan persistensi Jupyter Notebook S3.	Not available.
jupyter-sparkmagic-conf	Ubah nilai dalam file config.json Sparkmagic.	Not available.
livy-conf	Ubah nilai dalam file livy.conf Livy.	Restarts Livy Server.
livy-env	Ubah nilai di lingkungan Livy.	Restarts Livy Server.
livy-log4j	Ubah pengaturan Livy log4j.properties.	Restarts Livy Server.
mapred-env	Ubah nilai di lingkungan MapReduce aplikasi.	Restarts Hadoop MapReduce-HistoryServer.
mapred-site	Ubah nilai dalam file mapred-site.xml MapReduce aplikasi.	Restarts Hadoop MapReduce-HistoryServer.
oozie-env	Ubah nilai di lingkungan Oozie.	Restarts Oozie.
oozie-log4j	Ubah nilai dalam file oozie-log4j.properties Oozie.	Restarts Oozie.
oozie-site	Ubah nilai dalam file oozie-site.xml Oozie.	Restarts Oozie.
phoenix-hbase-metrics	Ubah nilai dalam file hadoop-metrics2-hbase.properties Phoenix.	Not available.
phoenix-hbase-site	Ubah nilai dalam file hbase-site.xml Phoenix.	Not available.
phoenix-log4j	Ubah nilai dalam file log4j.properties Phoenix.	Restarts Phoenix-QueryServer.
phoenix-metrics	Ubah nilai dalam file hadoop-metrics2-phoenix.properties Phoenix.	Not available.
pig-env	Ubah nilai di lingkungan Pig.	Not available.
pig-properties	Ubah nilai dalam file pig.properties Pig.	Restarts Oozie.
pig-log4j	Ubah nilai dalam file log4j.properties Pig.	Not available.
presto-log	Ubah nilai dalam file log.properties Presto.	Restarts Presto-Server.
presto-config	Ubah nilai dalam file config.properties Presto.	Restarts Presto-Server.
presto-password-authenticator	Ubah nilai dalam file password-authenticator.properties Presto.	Not available.
presto-env	Ubah nilai dalam file presto-env.sh Presto.	Restarts Presto-Server.
presto-node	Ubah nilai dalam file node.properties Presto.	Not available.
presto-connector-blackhole	Ubah nilai dalam file blackhole.properties Presto.	Not available.
presto-connector-cassandra	Ubah nilai dalam file cassandra.properties Presto.	Not available.
presto-connector-hive	Ubah nilai dalam file hive.properties Presto.	Restarts Presto-Server.
presto-connector-jmx	Ubah nilai dalam file jmx.properties Presto.	Not available.
presto-connector-kafka	Ubah nilai dalam file kafka.properties Presto.	Not available.
presto-connector-localfile	Ubah nilai dalam file localfile.properties Presto.	Not available.
presto-connector-memory	Ubah nilai dalam file memory.properties Presto.	Not available.
presto-connector-mongodb	Ubah nilai dalam file mongodb.properties Presto.	Not available.
presto-connector-mysql	Ubah nilai dalam file mysql.properties Presto.	Not available.
presto-connector-postgresql	Ubah nilai dalam file postgresql.properties Presto.	Not available.
presto-connector-raptor	Ubah nilai dalam file raptor.properties Presto.	Not available.
presto-connector-redis	Ubah nilai dalam file redis.properties Presto.	Not available.
presto-connector-redshift	Ubah nilai dalam file redshift.properties Presto.	Not available.
presto-connector-tpch	Ubah nilai dalam file tpch.properties Presto.	Not available.
presto-connector-tpcds	Ubah nilai dalam file tpcds.properties Presto.	Not available.
ranger-kms-dbks-site	Ubah nilai dalam file dbks-site.xml Ranger KMS.	Restarts Ranger KMS Server.
ranger-kms-site	Ubah nilai dalam file ranger-kms-site.xml Ranger KMS.	Restarts Ranger KMS Server.
ranger-kms-env	Ubah nilai di lingkungan Ranger KMS.	Restarts Ranger KMS Server.
ranger-kms-log4j	Ubah nilai dalam file kms-log4j.properties Ranger KMS.	Not available.
ranger-kms-db-ca	Ubah nilai untuk file CA pada S3 untuk koneksi MySQL SSL dengan Ranger KMS.	Not available.
recordserver-env	Ubah nilai di RecordServer lingkungan EMR.	Restarts EMR record server.
recordserver-conf	Ubah nilai dalam file erver. RecordServer properties EMR.	Restarts EMR record server.
recordserver-log4j	Ubah nilai dalam file log4j. RecordServer properties EMR.	Restarts EMR record server.
spark	Peng EMR-curated aturan Amazon untuk Apache Spark.	This property modifies spark-defaults. See actions there.
spark-defaults	Ubah nilai dalam file spark-defaults.conf Spark.	Restarts Spark history server and Spark thrift server.
spark-env	Ubah nilai di lingkungan Spark.	Restarts Spark history server and Spark thrift server.
spark-hive-site	Ubah nilai dalam file hive-site.xml Spark	Not available.
spark-log4j	Ubah nilai dalam file log4j.properties Spark.	Restarts Spark history server and Spark thrift server.
spark-metrics	Ubah nilai dalam file metrics.properties Spark.	Restarts Spark history server and Spark thrift server.
sqoop-env	Ubah nilai dalam lingkungan Sqoop.	Not available.
sqoop-oraoop-site	Ubah nilai dalam file oraoop-site.xml OraOop Sqoop.	Not available.
sqoop-site	Ubah nilai dalam file sqoop-site.xml Sqoop.	Not available.
tez-site	Ubah nilai dalam file tez-site.xml Tez.	Restarts Oozie.
yarn-env	Ubah nilai di lingkungan YARN.	Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.
yarn-site	Ubah nilai dalam file yarn-site.xml YARN.	Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.
zeppelin-env	Ubah nilai di lingkungan Zeppelin.	Restarts Zeppelin.
zookeeper-config	Ubah nilai dalam ZooKeeper file zoo.cfg.	Restarts Zookeeper server.
zookeeper-log4j	Ubah nilai dalam file ZooKeeper log4j.properties.	Restarts Zookeeper server.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

emr-5.32.1

emr-5.31.1