View a markdown version of this page

Amazon EMR pada rilis EKS 6.11.0 - Amazon EMR
RilisCatatan rilisFitur

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR pada rilis EKS 6.11.0

Halaman ini menjelaskan fungsionalitas baru dan diperbarui untuk Amazon EMR yang khusus untuk Amazon EMR pada penerapan EKS. Untuk detail tentang Amazon EMR yang berjalan di Amazon EC2 dan tentang rilis Amazon EMR 6.11.0 secara umum, lihat Amazon EMR 6.11. 0 di Panduan Rilis Amazon EMR.

Amazon EMR pada rilis EKS 6.11

Rilis Amazon EMR 6.11.0 berikut tersedia untuk Amazon EMR di EKS. Pilih rilis EMR-6.11.0-xxxx tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.

  • emr-6.11.0-spark-rapids-terbaru

  • emr-6.11.0-percikan-cepat-20230509

  • emr-6.11.0-java11-terbaru

  • emr-6.11.0-java11-20230509

  • notebook- spark/emr -6.11.0-terbaru

  • notebook- spark/emr -6.11.0-20230509

  • notebook- python/emr -6.11.0-terbaru

  • notebook- python/emr -6.11.0-20230509

Catatan rilis

Catatan rilis untuk Amazon EMR di EKS 6.11.0

  • Aplikasi yang didukung ‐ AWS SDK untuk Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark RAPIDS 23.02.0-amzn-0, Gerbang Perusahaan Jupyter 2.6.0

  • Komponen yang didukung ‐ aws-sagemaker-spark-sdk emr-ddbemr-goodies,,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

  • Klasifikasi konfigurasi yang didukung

    Untuk digunakan dengan StartJobRun dan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    core-site

    Ubah nilai dalam file core-site.xml Hadoop.

    emrfs-site

    Ubah pengaturan EMRFS.

    spark-metrics

    Ubah nilai dalam file metrics.properties Spark.

    spark-defaults

    Ubah nilai dalam file spark-defaults.conf Spark.

    spark-env

    Ubah nilai di lingkungan Spark.

    spark-hive-site

    Ubah nilai dalam file hive-site.xml Spark.

    spark-log4j

    Ubah nilai dalam file log4j.properties Spark.

    Untuk digunakan secara khusus dengan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    jeg-config

    Ubah nilai dalam file Jupyter Enterprise Gateway. jupyter_enterprise_gateway_config.py

    jupyter-kernel-overrides

    Ubah nilai untuk Gambar Kernel di file Jupyter Kernel Spec.

    Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti spark-hive-site.xml. Untuk informasi selengkapnya, lihat Meng onfigurasi Aplikasi.

Fitur penting

Fitur-fitur berikut disertakan dengan rilis 6.11 Amazon EMR di EKS.

  • Amazon EMR pada gambar dasar EKS di Galeri Publik Amazon ECR — Jika Anda menggunakan kemampuan gambar khusus, gambar dasar kami menyediakan stoples, konfigurasi, dan pustaka penting untuk berinteraksi dengan Amazon EMR di EKS. Anda sekarang dapat menemukan gambar dasar di Galeri Pu blik Amazon ECR.

  • Rotasi log kontainer Spark — Amazon EMR di EKS 6.11 mendukung rotasi log kontainer Spark. Anda dapat mengaktifkan kemampuan dengan containerLogRotationConfiguration dalam MonitoringConfiguration pengoperasian StartJobRun API. Anda dapat mengonfigurasi rotationSize dan maxFilestoKeep untuk menentukan jumlah dan ukuran file log yang Anda inginkan agar Amazon EMR di EKS disimpan di driver Spark dan pod eksekutor. Untuk informasi selengkapnya, lihat Menggunakan rotasi log kontainer Spark.

  • Dukungan Volcano di operator Spark dan spark-submit — Amazon EMR di EKS 6.11 mendukung menjalankan tugas Spark dengan Volcano sebagai penjadwal kustom Kubernetes di operator Spark dan spark-submit. Anda dapat menggunakan fitur seperti penjadwalan geng, manajemen antrian, preemption, dan penjadwalan bagi yang adil untuk mencapai throughput penjadwalan yang tinggi dan kapasitas yang dioptimalkan. Untuk informasi selengkapnya, lihat Menggunakan Volcano sebagai penjadwal khusus untuk Apache Spark di Amazon EMR di EKS.