Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Ada fitur baru?
Halaman ini menjelaskan perubahan dan fungsionalitas yang tersedia dalam rilis terbaru Amazon EMR 7.x, 6.x, dan 5.x.
Catatan rilis ini juga tersedia di Amazon [EMR 7.13.0, Amazon EMR](emr-7130-release.md) 6.15.0, [dan Amazon](emr-5362-release.md) [EMR](emr-6150-release.md) 5.36.2 halaman, bersama dengan versi aplikasi, versi komponen, dan klasifikasi konfigurasi yang tersedia untuk setiap rilis.
+ Untuk catatan rilis dari rilis sebelumnya, lihat[Arsip Amazon EMR dari catatan rilis](emr-whatsnew-history.md).
+ Untuk mendapatkan pembaruan saat rilis EMR Amazon baru tersedia, berlangganan umpan [RSS untuk catatan rilis Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss).
**catatan**
Rilis Amazon EMR selanjutnya menggunakan AWS Signature Version 4 (SigV4) untuk mengautentikasi permintaan ke Amazon S3. Sebaiknya gunakan rilis EMR Amazon yang mendukung SigV4 agar Anda dapat mengakses bucket S3 baru dan menghindari gangguan pada beban kerja Anda. Untuk informasi selengkapnya dan daftar rilis Amazon EMR yang mendukungSigV4, lihat. [Amazon EMR dan AWS Tanda Tangan Versi 4](#emr-sigv4)
## Agen Peningkatan dan Pemecahan Masalah Apache Spark
**Agen Peningkatan Apache Spark**
Apache Spark Upgrade Agent untuk Amazon EMR adalah kemampuan AI percakapan yang mempercepat peningkatan versi Apache Spark untuk aplikasi EMR Anda. Peningkatan Spark tradisional membutuhkan upaya rekayasa selama berbulan-bulan untuk menganalisis perubahan API, menyelesaikan konflik ketergantungan, dan memvalidasi kebenaran fungsional. Agen menyederhanakan proses upgrade melalui petunjuk bahasa alami, transformasi kode otomatis, dan validasi kualitas data.
Anda dapat menggunakan agen untuk memutakhirkan PySpark dan Scala aplikasi yang berjalan di Amazon EMR di EC2 dan Amazon EMR Tanpa Server. Agen menganalisis kode Anda, mengidentifikasi perubahan yang diperlukan, dan melakukan transformasi otomatis sambil mempertahankan kontrol persetujuan Anda atas semua modifikasi. Untuk lebih jelasnya lihat[Apa itu Agen Upgrade Apache Spark untuk Amazon EMR](spark-upgrades.md).
**Agen Pemecahan Masalah Apache Spark**
Agen pemecahan masalah Apache Spark untuk Amazon EMR adalah kemampuan AI percakapan yang menyederhanakan pemecahan masalah aplikasi Apache Spark di Amazon EMR, Glue, dan Notebook Amazon. AWS SageMaker Pemecahan masalah Spark tradisional memerlukan analisis manual ekstensif dari log, metrik kinerja, dan pola kesalahan untuk mengidentifikasi akar penyebab dan perbaikan kode. Agen menyederhanakan proses ini melalui petunjuk bahasa alami, analisis beban kerja otomatis, dan rekomendasi kode cerdas.
Anda dapat menggunakan agen untuk memecahkan masalah PySpark dan kegagalan aplikasi Scala. Agen menganalisis pekerjaan Anda yang gagal, mengidentifikasi kemacetan kinerja, dan memberikan rekomendasi dan perbaikan kode yang dapat ditindaklanjuti sambil memberi Anda kendali penuh atas keputusan implementasi. Untuk lebih jelasnya lihat[Apa itu Agen Pemecahan Masalah Apache Spark untuk Amazon EMR](spark-troubleshoot.md).
## Amazon EMR 7.13.0 (rilis terbaru seri 7.x)
Rilis EMR Amazon baru tersedia di berbagai Wilayah selama beberapa hari, dimulai dengan Wilayah pertama pada tanggal rilis awal. Versi rilis terbaru mungkin tidak tersedia di Wilayah Anda selama periode ini.
Catatan rilis berikut mencakup informasi untuk Amazon EMR rilis 7.13.0.
### Apa yang baru
+ **Python 3.11 default untuk PySpark dan beban kerja Spark -** Python 3.11 sekarang menjadi versi Python default untuk dan beban kerja Spark. PySpark Python 3.9 tetap menjadi default untuk semua aplikasi lainnya. Baik Python 3.9 dan 3.11 disertakan dalam rilis.
### Perubahan, penyempurnaan, dan masalah yang diselesaikan
+ **Properti konfigurasi Iceberg** - Amazon EMR 7.13 menambahkan properti konfigurasi Iceberg baru,. `spark.sql.catalog.spark_catalog.route-non-iceberg-drop-to-session-catalog` Saat disetel ke`true`, `DROP TABLE` pada tabel terkelola non-Iceberg akan `SparkSessionCatalog` menghapus metadata tabel dan data Amazon S3 yang mendasarinya. Nilai default-nya adalah `false`.
### Upgrade aplikasi
Aplikasi berikut ditingkatkan dalam rilis ini:
+ HBase 2.6.4-amzn-0 (ditingkatkan dari 2.6.2-amzn-3)
+ Hadoop 3.4.2-amzn-0 (ditingkatkan dari 3.4.1-amzn-4)
+ Phoenix 5.3.0 (ditingkatkan dari 5.2.1)
+ Hudi 1.0.2-amzn-2 (ditingkatkan dari 1.0.2-amzn-1)
+ Trino 479-amzn-1 (ditingkatkan dari 476-amzn-1)
+ AWS SDK v2 2.42.12 (ditingkatkan dari 2.35.5)
+ AWS SDK v1 1.12.797 (ditingkatkan dari 1.12.792)
+ Spark 3.5.6-amzn-2, Hive 3.1.3-amzn-22, Tez 0.10.2-amzn-20, Presto 0.287-amzn-7, Gunung Es 1.10.0-amzn-1, Delta 3.3.2-amzn-2, Flink 1.20.0-amzn-7, 3.9.3-amzn-5 (benjolan tambalan amzn) ZooKeeper
### Masalah umum dan batasan
Tidak ada masalah yang diketahui dalam rilis ini.
## Amazon EMR 6.15.0 (rilis terbaru seri 6.x)
Rilis EMR Amazon baru tersedia di berbagai Wilayah selama beberapa hari, dimulai dengan Wilayah pertama pada tanggal rilis awal. Versi rilis terbaru mungkin tidak tersedia di Wilayah Anda selama periode ini.
Catatan rilis berikut mencakup informasi untuk rilis Amazon EMR 6.15.0. Perubahan relatif terhadap 6.14.0. Untuk informasi tentang timeline rilis, lihat. [6.15.0 perubahan log](emr-6150-release.md#6150-changelog)
**Fitur baru**
+ **Upgrade aplikasi** — Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
+ **[Peluncuran lebih cepat untuk kluster EMR yang berjalan di](https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-emr-ec2-clusters-5-minutes-less/)** EC2 - Sekarang hingga 35% lebih cepat untuk meluncurkan EMR Amazon di cluster EC2. Dengan peningkatan ini, sebagian besar pelanggan dapat meluncurkan cluster mereka dalam 5 menit atau kurang.
+ **[CodeWhisperer untuk EMR Studio](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-codewhisperer.html)** - Anda sekarang dapat menggunakan Amazon dengan CodeWhisperer Amazon EMR Studio untuk mendapatkan rekomendasi waktu nyata saat Anda menulis kode. JupyterLab CodeWhisperer dapat menyelesaikan komentar Anda, menyelesaikan satu baris kode, membuat rekomendasi baris demi baris, dan menghasilkan fungsi yang sepenuhnya terbentuk.
+ **[Waktu restart pekerjaan lebih cepat dengan Flink](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-restart.html)** - Dengan Amazon EMR 6.15.0 dan yang lebih tinggi, beberapa mekanisme baru tersedia untuk Apache Flink untuk meningkatkan waktu restart pekerjaan selama pemulihan tugas atau operasi penskalaan. Ini mengoptimalkan kecepatan pemulihan dan memulai ulang grafik eksekusi untuk meningkatkan stabilitas pekerjaan.
+ **[Table-level dan kontrol akses berbutir halus untuk format tabel terbuka - Dengan](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lf-enable.html)** Amazon EMR 6.15.0 dan yang lebih tinggi, saat Anda menjalankan pekerjaan Spark di Amazon EMR di kluster EC2 yang mengakses data di Katalog Data AWS Glue, Anda dapat AWS Lake Formation menggunakannya untuk menerapkan izin tabel, baris, kolom, dan tingkat sel pada tabel berbasis Hudi, Iceberg, atau Delta Lake.
+ **Upgrade Hadoop** - Amazon EMR 6.15.0 termasuk upgrade Apache Hadoop ke versi 3.3.6. Hadoop 3.3.6 adalah versi terbaru pada saat penyebaran Amazon EMR 6.15, dirilis oleh Apache pada Juni 2023. Rilis sebelumnya Amazon EMR (6.9.0 hingga 6.14.x) menggunakan Hadoop 3.3.3.
Upgrade mencakup ratusan perbaikan dan perbaikan, dan fitur yang mencakup parameter datanode yang dapat dikonfigurasi ulang, `DFSAdmin` opsi untuk memulai operasi konfigurasi ulang massal pada semua datanodes langsung, dan API vektor yang memungkinkan pembaca seek-heavy menentukan beberapa rentang untuk dibaca. Hadoop 3.3.6 juga menambahkan dukungan untuk HDFS API dan semantik untuk write-ahead log (WAL), sehingga HBase dapat berjalan pada implementasi sistem penyimpanan lainnya. [https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/release/3.3.6/CHANGELOG.3.3.6.html](https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/release/3.3.6/CHANGELOG.3.3.6.html) [3.3.4, 3.3.5, dan 3.3.6](https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/release/3.3.4/CHANGELOG.3.3.4.html) [dalam dokumentasi Apache Hadoop.](https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/release/3.3.5/CHANGELOG.3.3.5.html)
+ **Support untuk AWS SDK for Java, versi** [2 - Aplikasi Amazon EMR 6.15.0 dapat menggunakan SDK for AWS Java [versi](https://github.com/aws/aws-sdk-java/tree/1.12.569) 1.12.569 atau 2.20.160 jika aplikasi mendukung v2.](https://github.com/aws/aws-sdk-java-v2/tree/2.20.160) AWS SDK for Java 2.x adalah penulisan ulang utama dari basis kode versi 1.x. Ini dibangun di atas Java 8\+ dan menambahkan beberapa fitur yang sering diminta. Ini termasuk dukungan untuk non-pemblokiran I/O, dan kemampuan untuk menyambungkan implementasi HTTP yang berbeda saat runtime. Untuk informasi selengkapnya, termasuk **Panduan Migrasi dari SDK for Java v1 ke** v2, lihat AWS panduan [SDK for Java](https://docs.aws.amazon.com/sdk-for-java), versi 2.
**Masalah yang diketahui**
+ Skrip instance-state on-cluster yang memantau kesehatan instance dapat mengkonsumsi CPU dan sumber daya memori yang berlebihan ketika ada sejumlah besar thread yang and/or membuka pegangan file pada node.
**Perubahan, penyempurnaan, dan masalah yang diselesaikan**
+ *Dimulai dengan Spark 3.3.1 (didukung dalam EMR versi 6.10 dan yang lebih baru), semua pelaksana dalam host dekomisioning diatur ke yang baru, yang disebut status DECOMMISSIONING. `ExecutorState`* Pelaksana yang dinonaktifkan tidak dapat digunakan oleh Yarn untuk mengalokasikan tugas dan dengan demikian akan meminta pelaksana baru, jika diperlukan, untuk tugas yang sedang dijalankan. Jadi, jika Anda menonaktifkan Spark DRA saat menggunakan EMR Managed Scaling, EMR Auto Scaling, atau mekanisme penskalaan khusus apa pun pada cluster, maka EMR-EC2 Yarn dapat meminta pelaksana maksimum yang diizinkan untuk setiap pekerjaan. Untuk menghindari masalah ini, biarkan `spark.dynamicAllocation.enabled` properti disetel ke `TRUE` (yang merupakan default) saat Anda menggunakan kombinasi fitur di atas. Selain itu, Anda juga dapat mengatur batasan pelaksana minimum dan maksimum dengan menetapkan nilai untuk `spark.dynamicAllocation.maxExecutors` dan `spark.dynamicAllocation.minExecutors` properti untuk pekerjaan Spark Anda, untuk membatasi jumlah pelaksana yang dialokasikan selama eksekusi pekerjaan.
+ Untuk meningkatkan kluster EMR ketersediaan tinggi Anda, rilis ini memungkinkan konektivitas ke daemon EMR Amazon di host lokal yang menggunakan titik akhir. IPv6
+ Rilis ini memungkinkan TLS 1.2 untuk komunikasi dengan ZooKeeper disediakan di semua node utama klaster ketersediaan tinggi Anda.
+ Rilis ini meningkatkan pengelolaan file log ZooKeeper transaksi yang dipertahankan pada node primer untuk meminimalkan skenario di mana file log tumbuh di luar batas dan mengganggu operasi cluster.
+ Rilis ini membuat komunikasi intra-node lebih tangguh untuk kluster EMR ketersediaan tinggi. Peningkatan ini mengurangi kemungkinan kegagalan tindakan bootstrap atau kegagalan awal cluster.
+ Tez di Amazon EMR 6.15.0 memperkenalkan konfigurasi yang dapat Anda tentukan untuk membuka pemisahan input secara asinkron dalam pemisahan yang dikelompokkan Tez. Ini menghasilkan kinerja kueri baca yang lebih cepat ketika ada sejumlah besar pemisahan input dalam satu pemisahan yang dikelompokkan Tez. Untuk informasi lebih lanjut, lihat [Pembukaan split asinkron Tez](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/tez-configure.html#tez-configure-async).
+ Saat Anda meluncurkan cluster dengan *rilis patch terbaru* Amazon EMR 5.36 atau lebih tinggi, 6.6 atau lebih tinggi, atau 7.0 atau lebih tinggi, Amazon EMR menggunakan rilis Amazon Linux 2023 atau Amazon Linux 2 terbaru untuk AMI EMR Amazon default. Untuk informasi selengkapnya, lihat [Menggunakan AMI Amazon Linux default untuk Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/emr/latest/ReleaseGuide/emr-whatsnew.html)
## Amazon EMR 5.36.2 (rilis terbaru seri 5.x)
Rilis EMR Amazon baru tersedia di berbagai Wilayah selama beberapa hari, dimulai dengan Wilayah pertama pada tanggal rilis awal. Versi rilis terbaru mungkin tidak tersedia di Wilayah Anda selama periode ini.
Catatan rilis berikut mencakup informasi untuk Amazon EMR rilis 5.36.2. Perubahan relatif terhadap 5.36.1. Untuk informasi tentang timeline rilis, lihat [log perubahan](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5362-release.html#5362-changelog).
**Perubahan, penyempurnaan, dan masalah yang diselesaikan**
+ Rilis ini meningkatkan logika penskalaan klaster sehingga Amazon EMR tidak menurunkan node inti di bawah pengaturan faktor replikasi HDFS untuk cluster. Peningkatan ini memenuhi persyaratan redundansi data, dan mengurangi kemungkinan operasi penskalaan mungkin terhenti.
+ Rilis ini menambahkan mekanisme coba lagi baru ke alur kerja penskalaan cluster untuk kluster EMR yang menjalankan Presto atau Trino. Peningkatan ini mengurangi risiko bahwa pengubahan ukuran cluster berjalan tanpa batas karena satu operasi pengubahan ukuran yang gagal. Ini juga meningkatkan pemanfaatan cluster, karena kluster Anda naik dan turun lebih cepat.
+ Memperbaiki masalah di mana operasi penskalaan klaster mungkin terhenti sementara Amazon EMR dengan anggun menonaktifkan node inti dan ternyata tidak sehat sebelum sepenuhnya dinonaktifkan.
+ Meningkatkan stabilitas node dalam klaster ketersediaan tinggi dengan beberapa node primer saat Amazon EMR memulai ulang satu node.
+ Mengoptimalkan manajemen log dengan Amazon EMR yang berjalan di Amazon EC2. Akibatnya, Anda mungkin melihat sedikit pengurangan biaya penyimpanan untuk log cluster Anda.
+ Meningkatkan pengelolaan file log ZooKeeper transaksi yang dipertahankan pada node primer untuk meminimalkan skenario di mana file log tumbuh di luar batas dan mengganggu operasi cluster.
+ Memperbaiki bug langka yang dapat menyebabkan cluster ketersediaan tinggi dengan beberapa node utama gagal karena tidak dapat berkomunikasi dengan Yarn. ResourceManager
+ Saat Anda meluncurkan cluster dengan *rilis patch terbaru* Amazon EMR 5.36 atau lebih tinggi, 6.6 atau lebih tinggi, atau 7.0 atau lebih tinggi, Amazon EMR menggunakan rilis Amazon Linux 2023 atau Amazon Linux 2 terbaru untuk AMI EMR Amazon default. Untuk informasi selengkapnya, lihat [Menggunakan AMI Amazon Linux default untuk Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/emr/latest/ReleaseGuide/emr-whatsnew.html)
## Amazon EMR dan AWS Tanda Tangan Versi 4
Rilis Amazon EMR menggunakan AWS Signature Version 4 (SigV4) untuk mengautentikasi permintaan ke Amazon S3. Bucket yang dibuat di Amazon S3 setelah 24 Juni 2020 tidak mendukung permintaan yang ditandatangani oleh Signature Version 2 (SigV2). Bucket yang dibuat pada atau sebelum 24 Juni 2020 akan terus mendukung SIGV2. Sebaiknya Anda bermigrasi ke rilis EMR Amazon yang SigV4 mendukung agar Anda dapat mengakses bucket S3 baru dan menghindari gangguan pada beban kerja Anda.
Jika Anda menggunakan aplikasi yang disertakan dengan Amazon EMR seperti Apache Spark, Apache Hive, dan Presto, Anda tidak perlu mengubah kode aplikasi Anda untuk digunakan. SigV4 Jika Anda menggunakan aplikasi khusus yang tidak disertakan dengan Amazon EMR, Anda mungkin perlu memperbarui kode Anda untuk digunakan. SigV4 Untuk informasi selengkapnya, lihat [Memindahkan dari Signature Version 2 ke Signature Version 4](https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingAWSSDK.html#UsingAWSSDK-move-to-Sig4) di Panduan Pengguna Amazon S3.
Amazon EMR berikut merilis dukunganSigV4:. emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher Semua 6.x dan 7.x merilis dukungan. SigV4