Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon EMR pada rilis EKS 6.11.0
Halaman ini menjelaskan fungsionalitas baru dan yang diperbarui untuk Amazon EMR yang khusus untuk EMR Amazon pada penerapan EKS. Untuk detail tentang Amazon EMR yang berjalan di Amazon EC2 dan tentang rilis Amazon EMR 6.11.0 secara umum, lihat Amazon EMR 6.11.0 di Panduan Rilis Amazon EMR.
Amazon EMR pada rilis EKS 6.11
Rilis Amazon EMR 6.11.0 berikut tersedia untuk Amazon EMR di EKS. Pilih rilis EMR-6.11.0-XXXX tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.
-
emr-6.11.0- spark-rapids-latest
-
emr-6.11.0-spark-cepat-20230509
-
emr-6.11.0-java11-terbaru
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-terbaru
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-terbaru
-
notebook-python/emr-6.11.0-20230509
Catatan rilis
Catatan rilis untuk Amazon EMR di EKS 6.11.0
-
Aplikasi yang didukung - AWS SDK untuk Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark RAPIDS 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Komponen yang didukung -
aws-sagemaker-spark-sdkemr-ddb,emr-goodies,,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Klasifikasi konfigurasi yang didukung
Untuk digunakan dengan StartJobRundan CreateManagedEndpoint APIs:
Klasifikasi Deskripsi core-siteUbah nilai dalam file
core-site.xmlHadoop.emrfs-siteUbah pengaturan EMRFS.
spark-metricsUbah nilai dalam file
metrics.propertiesSpark.spark-defaultsUbah nilai dalam file
spark-defaults.confSpark.spark-envUbah nilai di lingkungan Spark.
spark-hive-siteUbah nilai dalam file
hive-site.xmlSpark.spark-log4jUbah nilai dalam file
log4j.propertiesSpark.Untuk digunakan secara khusus dengan CreateManagedEndpoint APIs:
Klasifikasi Deskripsi jeg-configUbah nilai dalam file Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py.jupyter-kernel-overridesUbah nilai untuk Gambar Kernel di file Spesifikasi Kernel Jupyter.
Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti
spark-hive-site.xml. Untuk informasi selengkapnya, lihat Mengkonfigurasi Aplikasi.
Fitur penting
Fitur-fitur berikut disertakan dengan rilis 6.11 Amazon EMR di EKS.
-
Amazon EMR pada gambar dasar EKS di Galeri Publik Amazon ECR — Jika Anda menggunakan kemampuan gambar khusus, gambar dasar kami menyediakan toples, konfigurasi, dan pustaka penting untuk berinteraksi dengan Amazon EMR di EKS. Anda sekarang dapat menemukan gambar dasar di Galeri Publik Amazon ECR
. -
Rotasi log kontainer percikan - Amazon EMR di EKS 6.11 mendukung rotasi log kontainer Spark. Anda dapat mengaktifkan kemampuan dengan
containerLogRotationConfigurationdalamMonitoringConfigurationpengoperasianStartJobRunAPI. Anda dapat mengonfigurasirotationSizedanmaxFilestoKeepmenentukan jumlah dan ukuran file log yang Anda inginkan Amazon EMR di EKS untuk disimpan di driver Spark dan pod pelaksana. Untuk informasi selengkapnya, lihat Menggunakan rotasi log kontainer Spark. -
Dukungan gunung berapi di operator Spark dan spark-submit — Amazon EMR di EKS 6.11 mendukung menjalankan pekerjaan Spark dengan Volcano sebagai penjadwal kustom Kubernetes di operator Spark dan spark-submit. Anda dapat menggunakan fitur seperti penjadwalan geng, manajemen antrian, preemption, dan penjadwalan berbagi adil untuk mencapai throughput penjadwalan yang tinggi dan kapasitas yang dioptimalkan. Untuk informasi selengkapnya, lihat Menggunakan Volcano sebagai penjadwal khusus untuk Apache Spark di Amazon EMR di EKS.