View a markdown version of this page

AWS EKS 上 Apache Spark (emr-spark-8.0.0) 的執行時間 - Amazon EMR
推出版本備註變更和功能

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS EKS 上 Apache Spark (emr-spark-8.0.0) 的執行時間

本頁面描述了針對 Amazon EMR on EKS 部署的 Amazon EMR 新功能和更新功能。如需在 Amazon EC2 上執行的 Amazon EMR 和一般 Amazon EMR Spark 8.0.0 版本的詳細資訊，請參閱《Amazon EMR 版本指南》中的 AWS Apache Spark (emr-spark-8.0.0) 的執行時間。

AWS EKS 上 Apache Spark (emr-spark-8.0.0) 的執行時間

下列 emr-spark-8.0.0 版本可用於 EKS 上的 Apache Spark AWS 執行期。

  • spark/emr-spark-8.0.0-latest

  • spark/emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

版本備註

EKS 上 Apache Spark (emr-spark-8.0.0) AWS 執行時間的版本備註：

  • 支援的應用程式：AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • 支援的元件 ‐ emr-ddb、emr-goodies、hadoop-client、hudi、hudi-sparkiceberg、、spark-kubernetes。

  • 支援的組態分類

    若要與 StartJobRun 和 CreateManagedEndpoint API 搭配使用：

    分類 描述

    core-site

    變更 core-site.xml Hadoop 檔案中的值。

    spark-metrics

    變更 metrics.properties Spark 檔案中的值。

    spark-defaults

    變更 spark-defaults.conf Spark 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 hive-site.xml Spark 檔案中的值。

    spark-log4j2

    變更 log4j2.properties Spark 檔案中的值。

    emr-job-submitter

    作業提交者 Pod 的組態。

    專門搭配 CreateManagedEndpoint API 使用：

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案，例如 spark-hive-site.xml。如需詳細資訊，請參閱設定應用程式。

變更和功能

Apache Spark on EKS 的 emr-spark-8.0.0 AWS 執行期版本包含下列功能：

  • Apache Spark 4.0.2 GA – 在 Amazon EMR on EKS 上推出 Spark 4.x 的第一個生產就緒版本，具有 ANSI SQL 模式、SQL PIPE 語法、VARIANT 資料類型、SQL 指令碼和串流增強功能。

  • Python 3.11 預設 – Python 3.11 是 PySpark 和 Spark 工作負載的預設。Python 3.12 和 3.13 也可供使用。