View a markdown version of this page

Amazon EMR pada rilis EKS 6.10.0 - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR pada rilis EKS 6.10.0

Rilis Amazon EMR 6.10.0 berikut tersedia untuk Amazon EMR di EKS. Pilih rilis EMR-6.10.0-xxxx tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.

Catatan rilis untuk Amazon EMR 6.10.0

  • Aplikasi yang didukung ‐ AWS SDK untuk Java 1.12.397, Spark 3.3.1-amzn-0, Hudi 0.12.2-amzn-0, Iceberg 1.1.0-amzn-0, Delta 2.2.0.

  • Komponen yang didukung ‐ aws-sagemaker-spark-sdk emr-ddbemr-goodies,,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

  • Klasifikasi konfigurasi yang didukung:

    Untuk digunakan dengan StartJobRun dan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    core-site

    Ubah nilai dalam core-site.xml file Hadoop.

    emrfs-site

    Ubah pengaturan EMRFS.

    spark-metrics

    Ubah nilai dalam metrics.properties file Spark.

    spark-defaults

    Ubah nilai dalam spark-defaults.conf file Spark.

    spark-env

    Ubah nilai di lingkungan Spark.

    spark-hive-site

    Ubah nilai dalam hive-site.xml file Spark.

    spark-log4j

    Ubah nilai dalam log4j.properties file Spark.

    Untuk digunakan secara khusus dengan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    jeg-config

    Ubah nilai dalam file Jupyter Enterprise Gateway. jupyter_enterprise_gateway_config.py

    jupyter-kernel-overrides

    Ubah nilai untuk Gambar Kernel di file Jupyter Kernel Spec.

    Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti spark-hive-site.xml. Untuk informasi selengkapnya, lihat Meng onfigurasi Aplikasi.

Fitur penting

  • Operator Spark - Dengan Amazon EMR di EKS 6.10.0 dan yang lebih tinggi, Anda dapat menggunakan operator Kubernetes untuk Apache Spark, atau operator Spark, untuk menyebarkan dan mengelola aplikasi Spark dengan runtime rilis Amazon EMR di cluster Amazon EKS Anda sendiri. Untuk informasi selengkapnya, lihat Menjalankan pekerjaan Spark dengan operator Spark.

  • Java 11 - Dengan Amazon EMR di EKS 6.10 dan yang lebih tinggi, Anda dapat meluncurkan Spark dengan runtime Java 11. Untuk melakukan ini, berikan emr-6.10.0-java11-latest sebagai label rilis. Sebaiknya Anda memvalidasi dan menjalankan pengujian kinerja sebelum memindahkan beban kerja produksi dari image Java 8 ke image Java 11.

  • Untuk integrasi Amazon Redshift untuk Apache Spark, Amazon EMR di EKS 6.10.0 menghapus ketergantungan padaminimal-json.jar, dan secara otomatis menambahkan jar spark-redshift terkait yang diperlukan ke jalur kelas eksekutor untuk Spark:spark-redshift.jar,, dan. spark-avro.jar RedshiftJDBC.jar

Perubahan

  • S3-optimized Committer EMRFS sekarang diaktifkan secara default untuk parket, ORC, dan format berbasis teks (termasuk CSV dan JSON).