View a markdown version of this page

AWS EKS 上的 Apache Spark (emr-spark-8.0.0) 的运行时间 - Amazon EMR
发行版发行说明更改和功能

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

AWS EKS 上的 Apache Spark (emr-spark-8.0.0) 的运行时间

本页介绍了 Amazon EMR 的新增和更新的功能，这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊 EC2 上运行的亚马逊 EMR 以及亚马逊 EMR Spark 8.0.0 版本的详细信息，请参阅亚马逊 EMR 发布指南中的 A pache Spark (emr-spark-8.0.0) 的AWS 运行时间。

AWS EKS 上的 Apache Spark (emr-spark-8.0.0) 的运行时间

以下 emr-spark-8.0.0 版本可供在 EKS 上的 Apache Spark AWS 运行时使用。

  • spark/emr-spark-8.0.0-latest

  • spark/emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

发行说明

EKS 上的 Apache Spark (emr-spark-8.0.0) AWS 运行时发布说明：

  • 支持的应用程序 - AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • 支持的组件-emr-ddb、emr-goodies、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • 支持的配置分类

    要与StartJobRun和 CreateManagedEndpointAPI 一起使用：

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j2

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于 CreateManagedEndpointAPI：

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 spark-hive-site.xml）相对应。有关更多信息，请参阅配置应用程序。

更改和功能

在 EKS 上发布的 Apache Spark AWS 运行时的 emr-spark-8.0.0 版本中包含以下功能：

  • Apache Spark 4.0.2 GA — 在 EKS 上的 Amazon EMR 上发布 Spark 4.x 的第一个生产就绪版本，具有 ANSI SQL 模式、SQL PIPE 语法、VARIANT 数据类型、SQL 脚本和流媒体增强功能。

  • Python 3.11 默认 — Python 3.11 是 Spark 工作负载 PySpark 的默认值。Python 3.12 和 3.13 也可用。