Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon EMR pada rilis EKS 7.12.0
Halaman ini menjelaskan fungsionalitas baru dan diperbarui untuk Amazon EMR yang khusus untuk Amazon EMR pada penerapan EKS. Untuk detail tentang Amazon EMR yang berjalan di Amazon EC2 dan tentang rilis Amazon EMR 7.12.0 secara umum, lihat Amazon EMR 7.12. 0 di Panduan Rilis Amazon EMR.
Amazon EMR pada rilis EKS 7.12
Rilis Amazon EMR 7.12.0 berikut tersedia untuk Amazon EMR di EKS. Pilih rilis EMR-7.12.0-xxxx tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.
Catatan rilis
Catatan rilis untuk Amazon EMR di EKS 7.12.0:
-
Aplikasi yang didukung ‐ AWS SDK untuk Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
Komponen yang didukung ‐
emr-ddbemr-goodiesemr-s3-select,,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Klasifikasi konfigurasi yang didukung
Untuk digunakan dengan StartJobRun dan CreateManagedEndpoint API:
Klasifikasi Deskripsi core-siteUbah nilai dalam file
core-site.xmlHadoop.emrfs-siteUbah pengaturan EMRFS.
spark-metricsUbah nilai dalam file
metrics.propertiesSpark.spark-defaultsUbah nilai dalam file
spark-defaults.confSpark.spark-envUbah nilai di lingkungan Spark.
spark-hive-siteUbah nilai dalam file
hive-site.xmlSpark.spark-log4j2Ubah nilai dalam file
log4j2.propertiesSpark.emr-job-submitterKonfigurasi untuk pod pengirim pekerjaan.
Untuk digunakan secara khusus dengan CreateManagedEndpoint API:
Klasifikasi Deskripsi jeg-configUbah nilai dalam file Jupyter Enterprise Gateway.
jupyter_enterprise_gateway_config.pyjupyter-kernel-overridesUbah nilai untuk Gambar Kernel di file Jupyter Kernel Spec.
Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti
spark-hive-site.xml. Untuk informasi selengkapnya, lihat Meng onfigurasi Aplikasi.
Perubahan dan fitur
Fitur-fitur berikut disertakan dengan rilis 7.12.0 Amazon EMR di EKS:
-
Iceberg Materialized Views — Memulai EMR 7.12.0, EMR Spark mendukung pembuatan dan pengelolaan Iceberg Materialized Views (MV).
-
Hudi Full Table Access — Memulai EMR 7.12.0, EMR sekarang mendukung kontrol Full Table Access (FTA) untuk Apache Hudi di Apache Spark berdasarkan kebijakan Anda yang ditentukan dalam Lake Formation. Fitur ini memungkinkan operasi baca dan tulis dari pekerjaan Amazon EMR Spark Anda di tabel terdaftar Lake Formation saat peran pekerjaan memiliki akses tabel penuh.
-
Peningkatan versi Iceberg - EMR 7.12.0 mendukung Apache Iceberg versi 1.10.
-
Logging untuk beban kerja interaktif Livy — Mulai EMR 7.12.0, EMR mendukung pencatatan ekstensif untuk komponen sistem utama untuk meningkatkan pemecahan masalah kegagalan pekerjaan Livy Spark. Fitur ini akan menyediakan layanan EMR dengan akses ke Livy dan SecretAgent log tambahan untuk menyederhanakan pemecahan masalah.
