View a markdown version of this page

AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS - Amazon EMR
RilisCatatan rilisPerubahan dan fitur

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS

Halaman ini menjelaskan fungsionalitas baru dan diperbarui untuk Amazon EMR yang khusus untuk Amazon EMR pada penerapan EKS. Untuk detail tentang Amazon EMR yang berjalan di Amazon EC2 dan tentang rilis Amazon EMR Spark 8.0.0 secara umum, lihat AWS runtime untuk Apache Spark (emr-spark-8.0.0) di Panduan Rilis Amazon EMR.

AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS

Rilis emr-spark-8.0.0 berikut tersedia untuk AWS runtime untuk Apache Spark di EKS. Pilih rilis EMR-SPARK-8.0.0-xxxx tertentu untuk melihat detail selengkapnya seperti tag gambar kontainer terkait.

Spark releases

Rilis emr-spark-8.0.0 berikut tersedia untuk AWS runtime untuk Apache Spark di EKS saat Anda menjalankan aplikasi Spark. Pilih spark/ rilis untuk melihat detail seperti label rilis dan tag gambar wadah. Var notebook-spark/ iannotebook-python/,, livy/ dan menggunakan format label rilis yang sama (misalnya,emr-spark-8.0.0-latest) dengan awalan gambar wadah yang sesuai.

  • emr-spark-8.0.0-terbaru

  • emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

Catatan rilis

Catatan rilis untuk AWS runtime untuk Apache Spark (emr-spark-8.0.0) di EKS:

  • Aplikasi yang didukung ‐ AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • Komponen yang didukung ‐ emr-ddbemr-goodies,hadoop-client,hudi,,hudi-spark,iceberg,spark-kubernetes.

  • Klasifikasi konfigurasi yang didukung

    Untuk digunakan dengan StartJobRun dan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    core-site

    Ubah nilai dalam file core-site.xml Hadoop.

    spark-metrics

    Ubah nilai dalam file metrics.properties Spark.

    spark-defaults

    Ubah nilai dalam file spark-defaults.conf Spark.

    spark-env

    Ubah nilai di lingkungan Spark.

    spark-hive-site

    Ubah nilai dalam file hive-site.xml Spark.

    spark-log4j2

    Ubah nilai dalam file log4j2.properties Spark.

    emr-job-submitter

    Konfigurasi untuk pod pengirim pekerjaan.

    Untuk digunakan secara khusus dengan CreateManagedEndpoint API:

    Klasifikasi Deskripsi

    jeg-config

    Ubah nilai dalam file Jupyter Enterprise Gateway. jupyter_enterprise_gateway_config.py

    jupyter-kernel-overrides

    Ubah nilai untuk Gambar Kernel di file Jupyter Kernel Spec.

    Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering kali bersesuaian dengan file XML konfigurasi untuk aplikasi, seperti spark-hive-site.xml. Untuk informasi selengkapnya, lihat Meng onfigurasi Aplikasi.

Perubahan dan fitur

Fitur-fitur berikut disertakan dengan rilis AWS runtime emr-spark-8.0.0 untuk Apache Spark di EKS:

  • Apache Spark 4.0.2 GA — Rilis siap produksi pertama dari Spark 4.x di Amazon EMR di EKS, menampilkan mode ANSI SQL, sintaks SQL PIPE, tipe data VARIANT, skrip SQL, dan penyempurnaan streaming.

  • Python 3.11 default - Python 3.11 adalah default untuk PySpark dan beban kerja Spark. Python 3.12 dan 3.13 juga tersedia.