View a markdown version of this page

AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS - Amazon EMR
RilisCatatan rilisPerubahan dan fitur

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS

Halaman ini menjelaskan fungsionalitas baru dan yang diperbarui untuk Amazon EMR yang khusus untuk EMR Amazon pada penerapan EKS. Untuk detail tentang Amazon EMR yang berjalan di Amazon EC2 dan tentang rilis Amazon EMR Spark 8.0.0 secara umum, AWS lihat runtime untuk Apache Spark (emr-spark-8.0.0) di Panduan Rilis Amazon EMR.

AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS

Rilis emr-spark-8.0.0 berikut tersedia untuk AWS runtime untuk Apache Spark di EKS.

  • spark/emr-spark-8.0.0-latest

  • spark/emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Catatan rilis

Catatan rilis untuk AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS:

  • Aplikasi yang didukung - AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Komponen yang didukung -emr-ddb,emr-goodies,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

  • Klasifikasi konfigurasi yang didukung

    Untuk digunakan dengan StartJobRundan CreateManagedEndpointAPI:

    Klasifikasi Deskripsi

    core-site

    Ubah nilai dalam file core-site.xml Hadoop.

    spark-metrics

    Ubah nilai dalam file metrics.properties Spark.

    spark-defaults

    Ubah nilai dalam file spark-defaults.conf Spark.

    spark-env

    Ubah nilai di lingkungan Spark.

    spark-hive-site

    Ubah nilai dalam file hive-site.xml Spark.

    spark-log4j2

    Ubah nilai dalam file log4j2.properties Spark.

    emr-job-submitter

    Konfigurasi untuk pod pengirim pekerjaan.

    Untuk digunakan secara khusus dengan CreateManagedEndpointAPI:

    Klasifikasi Deskripsi

    jeg-config

    Ubah nilai dalam file Jupyter Enterprise Gatewayjupyter_enterprise_gateway_config.py.

    jupyter-kernel-overrides

    Ubah nilai untuk Gambar Kernel di file Spesifikasi Kernel Jupyter.

    Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti spark-hive-site.xml. Untuk informasi selengkapnya, lihat Mengkonfigurasi Aplikasi.

Perubahan dan fitur

Fitur-fitur berikut disertakan dengan rilis AWS runtime emr-spark-8.0.0 untuk Apache Spark di EKS:

  • Apache Spark 4.0.2 GA — Rilis Spark 4.x siap produksi pertama di Amazon EMR di EKS, menampilkan mode ANSI SQL, sintaks SQL PIPE, tipe data VARIANT, skrip SQL, dan peningkatan streaming.

  • Python 3.11 default — Python 3.11 adalah default untuk beban kerja dan Spark. PySpark Python 3.12 dan 3.13 juga tersedia.