Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon EMR rilis 7.12.0
7.12.0 siklus hidup yang didukung
Tabel berikut menjelaskan tanggal siklus hidup yang didukung untuk rilis Amazon EMR 7.12.0.
| Fase Support | Date |
|---|---|
| Tanggal rilis awal | November 21, 2025 |
| Dukungan standar sampai | November 21, 2027 |
| Akhir dari dukungan | November 22, 2027 |
| Akhir hidup | November 21, 2028 |
7.12.0 versi aplikasi
Rilis ini mencakup aplikasi berikut: AmazonCloudWatchAgent, Delta
Tabel di bawah ini mencantumkan versi aplikasi yang tersedia dalam rilis Amazon EMR ini dan versi aplikasi dalam tiga rilis EMR Amazon sebelumnya (bila berlaku).
Untuk riwayat lengkap versi aplikasi untuk setiap rilis Amazon EMR, lihat topik berikut:
| emr-7.12.0 | emr-7.11.0 | emr-7.10.0 | emr-7.9.0 | |
|---|---|---|---|---|
| AWS SDK for Java | 2.35.5, 1.12.792 | 2.35.5, 1.12.792 | 2.31.48, 1.12.782 | 2.31.16, 1.12.782 |
| Python | 3.9, 3.11 | 3.9, 3.11 | 3.9, 3.11 | 3.9, 3.11 |
| Skala | 2.12.18 | 2.12.18 | 2.12.18 | 2.12.18 |
| AmazonCloudWatchAgent | 1.300032.2-amzn-0 | 1.300032.2-amzn-0 | 1.300032.2-amzn-0 | 1.300032.2-amzn-0 |
| Delta | 3.3.2-amzn-1 | 3.3.2-amzn-0 | 3.3.0-amzn-2 | 3.3.0-amzn-1 |
| Flink | 1.20.0-amzn-6 | 1.20.0-amzn-5 | 1.20.0-amzn-4 | 1.20.0-amzn-3 |
| Ganglia | - | - | - | - |
| HBase | 2.6.2-amzn-3 | 2.6.2-amzn-2 | 2.6.2-amzn-1 | 2.6.2-amzn-0 |
| HCatalog | 3.1.3-amzn-21 | 3.1.3-amzn-20 | 3.1.3-amzn-19 | 3.1.3-amzn-18 |
| Hadoop | 3.4.1-amzn-4 | 3.4.1-amzn-3 | 3.4.1-amzn-2 | 3.4.1-amzn-1 |
| Hive | 3.1.3-amzn-21 | 3.1.3-amzn-20 | 3.1.3-amzn-19 | 3.1.3-amzn-18 |
| Hudi | 1.0.2-amzn-1 | 1.0.2-amzn-0 | 0.15.0-amzn-7 | 0.15.0-amzn-6 |
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 |
| Iceberg | 1.10.0-amzn-0 | 1.9.1-amzn-0 | 1.8.1-amzn-0 | 1.7.1-amzn-2 |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 |
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 |
| Livy | 0.8.0-inkubasi | 0.8.0-inkubasi | 0.8.0-inkubasi | 0.8.0-inkubasi |
| MXNet | - | - | - | - |
| Mahout | - | - | - | - |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
| Phoenix | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0,27-amzn-6 | 0,27-amzn-5 | 0,27-amzn-4 | 0,27-amzn-3 |
| Spark | 3.5.6-amzn-1 | 3.5.6-amzn-0 | 3.5.5-amzn-1 | 3.5.5-amzn-0 |
| Sqoop | - | - | - | - |
| TensorFlow | 2.19.0 | 2.19.0 | 2.18.0 | 2.16.1 |
| Tez | 0.10.2-amzn-19 | 0.10.2-amzn-18 | 0.10.2-amzn-17 | 0.10.2-amzn-16 |
| Trino (PrestoSQL) | 476-amzn-1 | 475-amzn-0 | 470-amzn-0 | 467-amzn-2 |
| Zeppelin | 0.11.1 | 0.11.1 | 0.11.1 | 0.11.1 |
| ZooKeeper | 3.9.3-amzn-4 | 3.9.3-amzn-3 | 3.9.3-amzn-2 | 3.9.3-amzn-1 |
Catatan terbitan 7.12.0
Catatan rilis berikut mencakup informasi untuk Amazon EMR rilis 7.12.0.
-
Fitur baru
-
Penyimpanan tanpa server untuk EMR Tanpa Server - Amazon EMR tanpa server memperkenalkan penyimpanan tanpa server, dengan rilis EMR 7.12 dan yang lebih baru, yang menghilangkan penyediaan disk lokal untuk beban kerja Apache Spark. EMR Serverless secara otomatis menangani operasi data perantara seperti shuffle tanpa biaya penyimpanan. Penyimpanan tanpa server memisahkan penyimpanan dari komputasi, memungkinkan Spark untuk segera melepaskan pekerja saat idle daripada membuat mereka tetap aktif untuk menyimpan data sementara. Untuk mempelajari selengkapnya, lihat aws.amazon.com/serverless-storage-for-emr-serverless.
-
Peningkatan aplikasi - Peningkatan aplikasi Amazon EMR 7.12.0 termasuk Delta 3.3.2-amzn-1, Flink 1.20.0-amzn-6, 2.6.2-amzn-3, 3.1.3-amzn-21, Hadoop 3.4.1-amzn-4, Hive 3.1.3-amzn-21, Hudi 1.0.2-amzn-1, Iceberg 1.10.0-amzn-0, Presto 0.287-amzn-6 HBase , Spark 3.5.6-amzn-1, Tez 0.10.2-amzn-19, Trino 476-amzn-1 HCatalog , dan 3.9.3-amzn-4. ZooKeeper
-
Iceberg Materialized Views - Memulai Amazon EMR 7.12.0, Amazon EMR Spark mendukung pembuatan dan pengelolaan Iceberg Materialized Views (MV)
-
Akses Tabel Lengkap Hudi - Memulai Amazon EMR 7.12.0, Amazon EMR sekarang mendukung kontrol Akses Tabel Penuh (FTA) untuk Apache Hudi di Apache Spark berdasarkan kebijakan Anda yang ditentukan dalam Lake Formation. Fitur ini memungkinkan operasi baca dan tulis dari pekerjaan Amazon EMR Spark Anda di tabel terdaftar Lake Formation saat peran pekerjaan memiliki akses tabel penuh.
-
Peningkatan versi Iceberg - Amazon EMR 7.12.0 mendukung Apache Iceberg versi 1.10
-
Spark dukungan FGAC asli menggunakan Lake Formation - Anda dapat melakukan DDL/DML operasi (seperti CREATE, ALTER, DELETE, DROP) dengan kontrol akses berbutir halus untuk tabel Apache Hive, Apache Iceberg, dan Delta Lake yang terdaftar di Lake Formation.
-
Konteks audit untuk pekerjaan Spark - Memulai Amazon EMR 7.12.0, konteks audit untuk pekerjaan Amazon EMR Spark dengan kluster yang diaktifkan Lake Formation akan tersedia untuk panggilan Glue dan Lake Formation API di AWS log. CloudTrail
-
Amazon EMR 7.12.0 meningkatkan proses otentikasi kredensi GetClusterSessionCredentials sesi, secara signifikan mengurangi latensi untuk Sesi Interaktif Livy dan akses UI on-cluster pada kluster yang mendukung IAM Identity Center dibandingkan dengan rilis EMR Amazon sebelumnya.
-
Mulai Amazon EMR 7.12.0, Amazon HBase EMR di S3 telah menambahkan fitur prewarm baca-replika untuk menyederhanakan peningkatan versi Amazon EMR. Fitur ini dapat digunakan untuk meng-upgrade HBase cluster yang ada ke dan dari Amazon EMR versi 7.12+
-
-
Masalah dan keterbatasan yang diketahui
-
Athena SQL kompatibilitas
-
Athena SQL tidak dapat membaca tabel Iceberg tipe V3 yang dibuat oleh Amazon EMR Spark karena kesalahan berikut: GENERIC_INTERNAL_ERROR: Tidak dapat membaca versi 3 yang tidak didukung.
-
Menulis data menggunakan Amazon EMR Spark ke dalam tabel gunung es yang dibuat menggunakan Athena gagal karena kesalahan berikut: Properti 'write.object-storage.path' telah usang dan akan dihapus di 2.0, gunakan 'write.data.path' sebagai gantinya.
-
-
Iceberg Materialized Views (MV) - Amazon EMR 7.12.0 memiliki dukungan terbatas untuk klausa tampilan SQL untuk pembuatan tampilan terwujud, penulisan ulang kueri, dan penyegaran tambahan. Rincian lebih lanjut dapat ditemukan di halaman dokumentasi fitur Iceberg Materialized Views
-
Hudi FTA menulis require using HoodieCredentialedHadoopStorage for credential vending selama eksekusi pekerjaan. Atur konfigurasi berikut saat menjalankan pekerjaan Hudi:
-
hoodie.storage.class=org.apache.spark.sql.hudi.storage.HoodieCredentialedHadoopStorage
-
-
Dukungan penulisan Hudi FTA hanya berfungsi dengan konfigurasi Hudi default. Pengaturan Hudi khusus atau non-default mungkin tidak sepenuhnya didukung dan dapat mengakibatkan perilaku yang tidak terduga. Pengelompokan untuk tabel Hudi Merge-On-Read (MOR) juga tidak didukung dalam mode tulis FTA.
-
-
Perubahan, penyempurnaan, dan masalah yang diselesaikan
-
Mulai EMR 7.12.0, EMR mendukung KMS Key ARN untuk log percikan yang dihosting layanan melalui server riwayat percikan yang persisten. Versi EMR sebelumnya hanya mendukung KeyID.
-
Mulai EMR 7.12.0, EMR telah mengatasi masalah dengan Hue yang mencegah penggunaan sertifikat SSL saat menghosting Hue di Cluster EMR.
-
7.12.0 versi Java default
Amazon EMR rilis 7.12.0 dikirimkan dengan Amazon Corretto 17 (dibangun di atas OpenJDK) secara default untuk aplikasi yang mendukung Corretto 17 (JDK 17), dengan pengecualian Apache Livy.
Tabel berikut menunjukkan versi Java default untuk aplikasi di Amazon EMR 7.12.0.
7.12.0 versi komponen
Komponen yang diinstal oleh Amazon EMR dengan rilis ini tercantum di bawah ini. Beberapa komponen diinstal sebagai bagian dari paket aplikasi big data. Sedangkan komponen lainnya bersifak unik untuk Amazon EMR dan diinstal untuk proses sistem dan fitur. Ini biasanya dimulai dengan emr atau aws. Paket aplikasi big data dalam rilis Amazon EMR terbaru biasanya versi terbaru yang ditemukan di komunitas. Kami menyediakan rilis komunitas di Amazon EMR secepat mungkin.
Beberapa komponen yang ada di Amazon EMR berbeda dari versi komunitas. Komponen ini mempunyai label versi dalam bentuk CommunityVersion-amzn-EmrVersionEmrVersionmyapp-component dengan versi 2.2 telah dimodifikasi tiga kali untuk dimasukkan dalam rilis EMR Amazon yang berbeda, versi rilisnya terdaftar sebagai. 2.2-amzn-2
| Komponen | Versi | Deskripsi |
|---|---|---|
| adot-java-agent | 1.31.0 | Agen Java yang mengumpulkan metrik dari daemon aplikasi. |
| delta | 3.3.2-amzn-1 | Danau Delta adalah format tabel terbuka untuk kumpulan data analitik yang sangat besar |
| emr-amazon-cloudwatch-agent | 1.300032.2-amzn-0 | Aplikasi yang mengumpulkan metrik tingkat sistem internal dan metrik aplikasi khusus dari instans Amazon. EC2 |
| emr-ddb | 5.7.0 | Konektor Amazon DynamoDB untuk aplikasi ekosistem Hadoop. |
| emr-goodies | 3.21.0 | Perpustakaan kenyamanan ekstra untuk ekosistem Hadoop. |
| emr-kinesis | 3.25.0 | Konektor Amazon Kinesis untuk aplikasi ekosistem Hadoop. |
| emr-notebook-env | 1.18.0 | Conda env untuk emr notebook yang mencakup gateway jupyter korporasi |
| emr-s3-dist-cp | 2.42.0 | Aplikasi salinan terdistribusi yang dioptimalkan untuk Amazon S3. |
| emr-s3-select | 2.21.0 | EMR S3Select Connector |
| emr-wal-cli | 1.3.6 | Cli digunakan untuk daftar emrwal/penghapusan. |
| emrfs | 2.73.0 | Konektor Amazon S3 untuk aplikasi ekosistem Hadoop. |
| flink-client | 1.20.0-amzn-6 | Skrip dan aplikasi klien baris perintah Apache Flink. |
| flink-jobmanager-config | 1.20.0-amzn-6 | Mengelola sumber daya pada node EMR untuk Apache Flink. JobManager |
| hadoop-client | 3.4.1-amzn-4 | Klien baris perintah Hadoop seperti 'hdfs', 'Hadoop', atau 'yarn'. |
| hadoop-hdfs-datanode | 3.4.1-amzn-4 | Layanan tingkat simpul HDFS untuk menyimpan blok. |
| hadoop-hdfs-library | 3.4.1-amzn-4 | Klien dan perpustakaan baris perintah HDFS |
| hadoop-hdfs-namenode | 3.4.1-amzn-4 | Layanan HDFS untuk melacak nama file dan lokasi blok. |
| hadoop-hdfs-zkfc | 3.4.1-amzn-4 | Layanan ZKFC untuk melacak namenodes untuk mode HA. |
| hadoop-hdfs-journalnode | 3.4.1-amzn-4 | Layanan HDFS untuk mengelola jurnal filesystem Hadoop pada klaster HA. |
| hadoop-httpfs-server | 3.4.1-amzn-4 | Titik akhir HTTP untuk operasi HDFS. |
| hadoop-kms-server | 3.4.1-amzn-4 | Server manajemen kunci kriptografi berdasarkan API Hadoop. KeyProvider |
| hadoop-mapred | 3.4.1-amzn-4 | MapReduce pustaka mesin eksekusi untuk menjalankan MapReduce aplikasi. |
| hadoop-yarn-nodemanager | 3.4.1-amzn-4 | Layanan YARN untuk mengelola kontainer pada simpul individu. |
| hadoop-yarn-resourcemanager | 3.4.1-amzn-4 | Layanan YARN untuk mengalokasikan dan mengelola sumber daya klaster dan aplikasi terdistribusi. |
| hadoop-yarn-timeline-server | 3.4.1-amzn-4 | Layanan untuk mengambil informasi terkini dan historis untuk aplikasi YARN. |
| hbase-hmaster | 2.6.2-amzn-3 | Layanan untuk HBase cluster yang bertanggung jawab untuk koordinasi Daerah dan pelaksanaan perintah administratif. |
| hbase-region-server | 2.6.2-amzn-3 | Layanan untuk melayani satu atau lebih HBase wilayah. |
| hbase-client | 2.6.2-amzn-3 | HBase klien baris perintah. |
| hbase-rest-server | 2.6.2-amzn-3 | Layanan menyediakan titik akhir RESTful HTTP untuk HBase. |
| hbase-thrift-server | 2.6.2-amzn-3 | Layanan menyediakan titik akhir Thrift ke. HBase |
| hbase-operator-tools | 2.6.2-amzn-3 | Alat perbaikan untuk HBase cluster Apache. |
| hcatalog-client | 3.1.3-amzn-21 | Klien baris perintah 'hcat' untuk memanipulasi hcatalog-server. |
| hcatalog-server | 3.1.3-amzn-21 | Penyediaan layanan HCatalog, tabel dan lapisan manajemen penyimpanan untuk aplikasi terdistribusi. |
| hcatalog-webhcat-server | 3.1.3-amzn-21 | Titik akhir HTTP menyediakan antarmuka REST ke HCatalog. |
| hive-client | 3.1.3-amzn-21 | Klien baris perintah Hive. |
| hive-hbase | 3.1.3-amzn-21 | Klien Hive-hbase. |
| hive-metastore-server | 3.1.3-amzn-21 | Layanan untuk mengakses metastore Hive, repositori semantik yang menyimpan metadata untuk SQL pada operasi Hadoop. |
| hive-server2 | 3.1.3-amzn-21 | Layanan untuk menerima kueri Hive sebagai permintaan web. |
| hudi | 1.0.2-amzn-1 | Kerangka pemrosesan tambahan untuk memberi daya pada pipa data pada latensi rendah dan efisiensi tinggi. |
| hudi-presto | 1.0.2-amzn-1 | Perpustakaan paket untuk menjalankan Presto dengan Hudi. |
| hudi-trino | 1.0.2-amzn-1 | Perpustakaan bundel untuk menjalankan Trino dengan Hudi. |
| hudi-spark | 1.0.2-amzn-1 | Perpustakaan paket untuk menjalankan Spark dengan Hudi. |
| hue-server | 4.11.0 | Aplikasi web untuk menganalisis data menggunakan aplikasi ekosistem Hadoop |
| iceberg | 1.10.0-amzn-0 | Apache Iceberg adalah format tabel terbuka untuk kumpulan data analitik besar |
| jupyterhub | 1.5.0 | Server multi-pengguna untuk notebook Jupyter |
| livy-server | 0.8.0-inkubasi | Antarmuka REST untuk berinteraksi dengan Apache Spark |
| nginx | 1.12.1 | nginx [engine x] adalah server HTTP dan server proksi balik |
| mariadb-server | 5.5.68+ | Server basis data MariaDB. |
| nvidia-cuda | 12.5.0 | Driver Nvidia dan kit alat Cuda |
| oozie-client | 5.2.1 | Klien baris perintah Oozie. |
| oozie-server | 5.2.1 | Layanan untuk menerima permintaan alur kerja Oozie. |
| opencv | 4.7.0 | Perpustakaan Visi Komputer Sumber Terbuka. |
| phoenix-library | 5.2.1 | Perpustakaan phoenix untuk server dan klien |
| phoenix-connectors | 6.0.0 | Konektor Apache Phoenix untuk Spark-3 |
| phoenix-query-server | 6.0.0 | Sebuah server ringan yang menyediakan akses JDBC serta Protocol Buffers dan akses format JSON ke API Avatica |
| presto-coordinator | 0,27-amzn-6 | Layanan untuk menerima kueri dan mengelola eksekusi kueri antara presto-worker. |
| presto-worker | 0,27-amzn-6 | Layanan untuk mengeksekusi potongan kueri. |
| presto-client | 0,27-amzn-6 | Klien baris perintah Presto yang diinstal pada master klaster HA yang siaga di mana server Presto server tidak dimulai. |
| trino-coordinator | 476-amzn-1 | Layanan untuk menerima kueri dan mengelola eksekusi kueri di antara trino-workers. |
| trino-worker | 476-amzn-1 | Layanan untuk mengeksekusi potongan kueri. |
| trino-client | 476-amzn-1 | Klien baris perintah Trino yang diinstal pada master siaga cluster HA di mana server Trino tidak dimulai. |
| pig-client | 0.17.0 | Klien baris perintah Pig. |
| r | 4.3.2 | Proyek R untuk Komputasi Statistik |
| ranger-kms-server | 2.0.0 | Sistem Pengelolaan Kunci Ranger Apache |
| spark-client | 3.5.6-amzn-1 | Klien baris perintah Spark. |
| spark-history-server | 3.5.6-amzn-1 | Web UI untuk melihat log acara untuk seluruh masa pakai aplikasi Spark. |
| spark-on-yarn | 3.5.6-amzn-1 | Mesin eksekusi dalam memori untuk YARN. |
| spark-yarn-slave | 3.5.6-amzn-1 | Perpustakaan Apache Spark yang dibutuhkan oleh slave YARN. |
| spark-rapids | 25.08.0-amzn-0 | Plugin Nvidia Spark RAPIDS yang mempercepat Apache Spark dengan. GPUs |
| tensorflow | 2.19.0 | TensorFlow pustaka perangkat lunak open source untuk perhitungan numerik kinerja tinggi. |
| tez-on-yarn | 0.10.2-amzn-19 | Aplikasi dan perpustakaan tez YARN. |
| tez-on-worker | 0.10.2-amzn-19 | Aplikasi dan pustaka YARN tez untuk node pekerja. |
| zeppelin-server | 0.11.1 | Notebook berbasis web yang memungkinkan analisis data interaktif. |
| zookeeper-server | 3.9.3-amzn-4 | Layanan terpusat untuk menjaga informasi konfigurasi, penamaan, yang menyediakan sinkronisasi terdistribusi, dan menyediakan layanan grup. |
| zookeeper-client | 3.9.3-amzn-4 | ZooKeeper klien baris perintah. |
7.12.0 klasifikasi konfigurasi
Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti hive-site.xml. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.
Tindakan konfigurasi ulang terjadi ketika Anda menentukan konfigurasi untuk grup instans di klaster yang sedang berjalan. Amazon EMR hanya memulai tindakan konfigurasi ulang untuk klasifikasi yang Anda modifikasi. Untuk informasi selengkapnya, lihat Lakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan.
| Klasifikasi | Deskripsi | Tindakan Konfigurasi Ulang |
|---|---|---|
capacity-scheduler | Ubah nilai dalam file capacity-scheduler.xml Hadoop. | Restarts the ResourceManager service. |
container-executor | Ubah nilai dalam file container-executor.cfg Hadoop YARN ini. | Not available. |
container-log4j | Ubah nilai dalam file container-log4j.properties Hadoop YARN. | Not available. |
core-site | Ubah nilai dalam file core-site.xml Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Ubah pengaturan terkait docker. | Not available. |
emrfs-site | Ubah pengaturan EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
flink-conf | Ubah pengaturan flink-conf.yaml. | Restarts Flink history server. |
flink-log4j | Ubah pengaturan log4j.properties Flink. | Restarts Flink history server. |
flink-log4j-session | Ubah pengaturan Flink log4j-session.properties untuk sesi. Kubernetes/Yarn | Restarts Flink history server. |
flink-log4j-cli | Ubah pengaturan log4j-cli.properties Flink. | Restarts Flink history server. |
hadoop-env | Ubah nilai dalam lingkungan Hadoop untuk semua komponen Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
hadoop-log4j | Ubah nilai dalam file log4j.properties Hadoop ini. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Ubah konfigurasi server ssl hadoop | Not available. |
hadoop-ssl-client | Ubah konfigurasi klien ssl hadoop | Not available. |
hbase | Pengaturan Amazon EMR-curated untuk Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
hbase-env | Ubah nilai HBase di lingkungan. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-log4j2 | Ubah nilai dalam file HBase hbase-log4j2.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-metrics | Ubah nilai dalam file HBase hadoop-metrics2-hbase.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-policy | Ubah nilai dalam HBase file hbase-policy.xml. | Not available. |
hbase-site | Ubah nilai dalam HBase file hbase-site.xml. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
hdfs-encryption-zones | Konfigurasikan zona enkripsi HDFS. | This classification should not be reconfigured. |
hdfs-env | Ubah nilai dalam lingkungan HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | Ubah nilai dalam hdfs-site.xml HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
hcatalog-env | Ubah nilai HCatalog di lingkungan. | Restarts Hive HCatalog Server. |
hcatalog-server-jndi | Ubah nilai di HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
hcatalog-server-proto-hive-site | Ubah nilai HCatalog proto-hive-site dalam.xml's. | Restarts Hive HCatalog Server. |
hcatalog-webhcat-env | Ubah nilai di lingkungan HCatalog WebHCat. | Restarts Hive WebHCat server. |
hcatalog-webhcat-log4j2 | Ubah nilai di HCat log4j2.properties HCatalog Web. | Restarts Hive WebHCat server. |
hcatalog-webhcat-site | Ubah nilai dalam file webhcat-site.xml HCatalog WebHCat. | Restarts Hive WebHCat server. |
hive | Pengaturan dikurasi Amazon EMR untuk Apache Hive. | Sets configurations to launch Hive LLAP service. |
hive-beeline-log4j2 | Ubah nilai dalam file beeline-log4j2.properties Hive. | Not available. |
hive-parquet-logging | Ubah nilai dalam file parquet-logging.properties Hive. | Not available. |
hive-env | Ubah nilai dalam lingkungan Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. |
hive-exec-log4j2 | Ubah nilai dalam file hive-exec-log 4j2.properties Hive. | Not available. |
hive-llap-daemon-log4j2 | Ubah nilai dalam file llap-daemon-log 4j2.properties Hive. | Not available. |
hive-log4j2 | Ubah nilai dalam file hive-log4j2.properties Hive. | Not available. |
hive-site | Ubah nilai dalam file hive-site.xml Hive | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
hiveserver2-site | Ubah nilai dalam file hiveserver2-site.xml Hive Server2 | Not available. |
hue-ini | Ubah nilai dalam file ini Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
httpfs-env | Ubah nilai di lingkungan HTTPFS. | Restarts Hadoop Httpfs service. |
httpfs-site | Ubah nilai dalam file httpfs-site.xml Hadoop. | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Ubah nilai dalam file kms-acls.xml Hadoop. | Not available. |
hadoop-kms-env | Ubah nilai dalam lingkungan Hadoop KMS. | Restarts Hadoop-KMS service. |
hadoop-kms-java-home | Ubah rumah java KMS Hadoop | Not available. |
hadoop-kms-log4j | Ubah nilai dalam file kms-log4j.properties Hadoop. | Not available. |
hadoop-kms-site | Ubah nilai dalam file kms-site.xml Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
hudi-env | Ubah nilai di lingkungan Hudi. | Not available. |
hudi-defaults | Ubah nilai dalam file hudi-defaults.conf Hudi. | Not available. |
iceberg-defaults | Ubah nilai dalam file iceberg-defaults.conf Iceberg. | Not available. |
delta-defaults | Ubah nilai dalam file delta-defaults.conf Delta. | Not available. |
jupyter-notebook-conf | Ubah nilai dalam file jupyter_notebook_config.py Jupyter Notebook. | Not available. |
jupyter-hub-conf | Ubah nilai dalam JupyterHubs file jupyterhub_config.py. | Not available. |
jupyter-s3-conf | Konfigurasikan persistensi Jupyter Notebook S3. | Not available. |
jupyter-sparkmagic-conf | Ubah nilai dalam file config.json Sparkmagic. | Not available. |
livy-conf | Ubah nilai dalam file livy.conf Livy. | Restarts Livy Server. |
livy-env | Ubah nilai di lingkungan Livy. | Restarts Livy Server. |
livy-log4j2 | Ubah pengaturan Livy log4j2.properties. | Restarts Livy Server. |
mapred-env | Ubah nilai di lingkungan MapReduce aplikasi. | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | Ubah nilai dalam file mapred-site.xml MapReduce aplikasi. | Restarts Hadoop MapReduce-HistoryServer. |
oozie-env | Ubah nilai di lingkungan Oozie. | Restarts Oozie. |
oozie-log4j | Ubah nilai dalam file oozie-log4j.properties Oozie. | Restarts Oozie. |
oozie-site | Ubah nilai dalam file oozie-site.xml Oozie. | Restarts Oozie. |
phoenix-hbase-metrics | Ubah nilai dalam file hadoop-metrics2-hbase.properties Phoenix. | Not available. |
phoenix-hbase-site | Ubah nilai dalam file hbase-site.xml Phoenix. | Not available. |
phoenix-log4j2 | Ubah nilai dalam file log4j2.properties Phoenix. | Restarts Phoenix-QueryServer. |
phoenix-metrics | Ubah nilai dalam file hadoop-metrics2-phoenix.properties Phoenix. | Not available. |
pig-env | Ubah nilai di lingkungan Pig. | Not available. |
pig-properties | Ubah nilai dalam file pig.properties Pig. | Restarts Oozie. |
pig-log4j | Ubah nilai dalam file log4j.properties Pig. | Not available. |
presto-log | Ubah nilai dalam file log.properties Presto. | Restarts Presto-Server (for PrestoDB) |
presto-config | Ubah nilai dalam file config.properties Presto. | Restarts Presto-Server (for PrestoDB) |
presto-password-authenticator | Ubah nilai dalam file password-authenticator.properties Presto. | Not available. |
presto-env | Ubah nilai dalam file presto-env.sh Presto. | Restarts Presto-Server (for PrestoDB) |
presto-node | Ubah nilai dalam file node.properties Presto. | Not available. |
presto-connector-blackhole | Ubah nilai dalam file blackhole.properties Presto. | Not available. |
presto-connector-cassandra | Ubah nilai dalam file cassandra.properties Presto. | Not available. |
presto-connector-hive | Ubah nilai dalam file hive.properties Presto. | Restarts Presto-Server (for PrestoDB) |
presto-connector-jmx | Ubah nilai dalam file jmx.properties Presto. | Not available. |
presto-connector-kafka | Ubah nilai dalam file kafka.properties Presto. | Not available. |
presto-connector-lakeformation | Ubah nilai dalam file lakeformation.properties Presto. | Restarts Presto-Server (for PrestoDB) |
presto-connector-localfile | Ubah nilai dalam file localfile.properties Presto. | Not available. |
presto-connector-memory | Ubah nilai dalam file memory.properties Presto. | Not available. |
presto-connector-mongodb | Ubah nilai dalam file mongodb.properties Presto. | Not available. |
presto-connector-mysql | Ubah nilai dalam file mysql.properties Presto. | Not available. |
presto-connector-postgresql | Ubah nilai dalam file postgresql.properties Presto. | Not available. |
presto-connector-raptor | Ubah nilai dalam file raptor.properties Presto. | Not available. |
presto-connector-redis | Ubah nilai dalam file redis.properties Presto. | Not available. |
presto-connector-redshift | Ubah nilai dalam file redshift.properties Presto. | Not available. |
presto-connector-tpch | Ubah nilai dalam file tpch.properties Presto. | Not available. |
presto-connector-tpcds | Ubah nilai dalam file tpcds.properties Presto. | Not available. |
trino-log | Ubah nilai dalam file log.properties Trino. | Restarts Trino-Server (for Trino) |
trino-config | Ubah nilai dalam file config.properties Trino. | Restarts Trino-Server (for Trino) |
trino-password-authenticator | Ubah nilai dalam file password-authenticator.properties Trino. | Restarts Trino-Server (for Trino) |
trino-env | Ubah nilai dalam file trino-env.sh Trino. | Restarts Trino-Server (for Trino) |
trino-node | Ubah nilai dalam file node.properties Trino. | Not available. |
trino-connector-blackhole | Ubah nilai dalam file blackhole.properties Trino. | Not available. |
trino-connector-cassandra | Ubah nilai dalam file cassandra.properties Trino. | Not available. |
trino-connector-delta | Ubah nilai dalam file delta.properties Trino. | Restarts Trino-Server (for Trino) |
trino-connector-hive | Ubah nilai dalam file hive.properties Trino. | Restarts Trino-Server (for Trino) |
trino-exchange-manager | Ubah nilai dalam file exchange-manager.properties Trino. | Restarts Trino-Server (for Trino) |
trino-connector-iceberg | Ubah nilai dalam file iceberg.properties Trino. | Restarts Trino-Server (for Trino) |
trino-connector-hudi | Ubah nilai dalam file hudi.properties Trino. | Restarts Trino-Server (for Trino) |
trino-connector-jmx | Ubah nilai dalam file jmx.properties Trino. | Not available. |
trino-connector-kafka | Ubah nilai dalam file kafka.properties Trino. | Not available. |
trino-connector-localfile | Ubah nilai dalam file localfile.properties Trino. | Not available. |
trino-connector-memory | Ubah nilai dalam file memory.properties Trino. | Not available. |
trino-connector-mongodb | Ubah nilai dalam file mongodb.properties Trino. | Not available. |
trino-connector-mysql | Ubah nilai dalam file mysql.properties Trino. | Not available. |
trino-connector-postgresql | Ubah nilai dalam file postgresql.properties Trino. | Not available. |
trino-connector-raptor | Ubah nilai dalam file raptor.properties Trino. | Not available. |
trino-connector-redis | Ubah nilai dalam file redis.properties Trino. | Not available. |
trino-connector-redshift | Ubah nilai dalam file redshift.properties Trino. | Not available. |
trino-connector-tpch | Ubah nilai dalam file tpch.properties Trino. | Not available. |
trino-connector-tpcds | Ubah nilai dalam file tpcds.properties Trino. | Not available. |
ranger-kms-dbks-site | Ubah nilai dalam file dbks-site.xml Ranger KMS. | Restarts Ranger KMS Server. |
ranger-kms-site | Ubah nilai dalam ranger-kms-site file.xml. dari Ranger KMS. | Restarts Ranger KMS Server. |
ranger-kms-env | Ubah nilai di lingkungan Ranger KMS. | Restarts Ranger KMS Server. |
ranger-kms-logback | Ubah nilai dalam file kms-logback.xml dari Ranger KMS. | Not available. |
ranger-kms-db-ca | Ubah nilai untuk file CA pada S3 untuk koneksi MySQL SSL dengan Ranger KMS. | Not available. |
spark | Pengaturan terkurasi Amazon EMR untuk Apache Spark. | This property modifies spark-defaults. See actions there. |
spark-defaults | Ubah nilai dalam file spark-defaults.conf Spark. | Restarts Spark history server and Spark thrift server. |
spark-env | Ubah nilai di lingkungan Spark. | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Ubah nilai dalam file hive-site.xml Spark | Not available. |
spark-log4j2 | Ubah nilai dalam file log4j2.properties Spark. | Restarts Spark history server and Spark thrift server. |
spark-metrics | Ubah nilai dalam file metrics.properties Spark. | Restarts Spark history server and Spark thrift server. |
tez-site | Ubah nilai dalam file tez-site.xml Tez. | Restart Oozie and HiveServer2. |
yarn-env | Ubah nilai di lingkungan YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | Ubah nilai dalam file yarn-site.xml YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zeppelin-env | Ubah nilai di lingkungan Zeppelin. | Restarts Zeppelin. |
zeppelin-site | Ubah pengaturan konfigurasi di zeppelin-site.xml. | Restarts Zeppelin. |
zookeeper-config | Ubah nilai dalam ZooKeeper file zoo.cfg. | Restarts Zookeeper server. |
zookeeper-logback | Ubah nilai dalam ZooKeeper file logback.xml. | Restarts Zookeeper server. |
cloudwatch-logs | Konfigurasikan integrasi CloudWatch Log untuk node cluster EMR. | Not available. |
emr-metrics | Ubah pengaturan metrik emr untuk node ini. | Restarts the CloudWatchAgent service. |
7.12.0 perubahan log
| Date | Peristiwa | Deskripsi |
|---|---|---|
| 2025-11-21 | Publikasi Docs | Amazon EMR 7.12.0 catatan rilis pertama kali diterbitkan |
