EKS 7.12.0 版本上的 Amazon EMR - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

EKS 7.12.0 版本上的 Amazon EMR

本页介绍了 Amazon EMR 的新增和更新的功能,这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊上运行的亚马逊 EMR EC2 以及亚马逊 EMR 7.12.0 版本的总体详情,请参阅亚马逊 EMR 发布指南中的亚马逊 EM R 7.12. 0。

EKS 7.12 版本上的 Amazon EMR

以下亚马逊 EMR 7.12.0 版本可用于 EKS 上的亚马逊 EMR。选择特定的 EMR-7.12.0-xxxx 版本以查看更多详细信息,例如相关的容器映像标签。

Flink releases

当您运行 Flink 应用程序时,以下亚马逊 EMR 7.12.0 版本可用于 EKS 上的亚马逊 EMR。

Spark releases

当您运行 Spark 应用程序时,以下亚马逊 EMR 7.12.0 版本可用于 EKS 上的亚马逊 EMR。

  • emr-7.12.0-最新

  • emr-7.12.0-20251111

  • emr-7.12.0-spark-rapids-latest

  • emr-7.12.0-spark-rapids-20251111

  • emr-7.12.0-java11-latest

  • emr-7.12.0-java11-20251111

  • emr-7.12.0-java8-latest

  • emr-7.12.0-java8-20251111

  • emr-7.12.0-spark-rapids-java8-latest

  • emr-7.12.0-spark-rapids-java8-20251111

  • notebook-spark/emr-7.12.0-latest

  • notebook-spark/emr-7.12.0-20251111

  • notebook-spark/emr-7.12.0-spark-rapids-latest

  • notebook-spark/emr-7.12.0-spark-rapids-20251111

  • notebook-spark/emr-7.12.0-java11-latest

  • notebook-spark/emr-7.12.0-java11-20251111

  • notebook-spark/emr-7.12.0-java8-latest

  • notebook-spark/emr-7.12.0-java8-20251111

  • notebook-spark/emr-7.12.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.12.0-spark-rapids-java8-20251111

  • notebook-python/emr-7.12.0-latest

  • notebook-python/emr-7.12.0-20251111

  • notebook-python/emr-7.12.0-spark-rapids-latest

  • notebook-python/emr-7.12.0-spark-rapids-20251111

  • notebook-python/emr-7.12.0-java11-latest

  • notebook-python/emr-7.12.0-java11-20251111

  • notebook-python/emr-7.12.0-java8-latest

  • notebook-python/emr-7.12.0-java8-20251111

  • notebook-python/emr-7.12.0-spark-rapids-java8-latest

  • notebook-python/emr-7.12.0-spark-rapids-java8-20251111

  • livy/emr-7.12.0-latest

  • livy/emr-7.12.0-20251111

  • livy/emr-7.12.0-java11-latest

  • livy/emr-7.12.0-java11-20251111

  • livy/emr-7.12.0-java8-latest

  • livy/emr-7.12.0-java8-20251111

发行说明

EKS 7.12.0 上亚马逊 EMR 的发布说明:

  • 支持的应用程序 - 适用于 Java 的 AWS SDK 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6

  • 支持的组件emr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支持的配置分类

    StartJobRun和一起使用 CreateManagedEndpoint APIs:

    分类 描述

    core-site

    更改 core-site.xml Hadoop 文件中的值。

    emrfs-site

    更改 EMRFS 设置。

    spark-metrics

    更改 metrics.properties Spark 文件中的值。

    spark-defaults

    更改 spark-defaults.conf Spark 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 hive-site.xml Spark 文件中的值。

    spark-log4j2

    更改 log4j2.properties Spark 文件中的值。

    emr-job-submitter

    任务提交者 Pod 的配置。

    专门用于以下用途 CreateManagedEndpoint APIs:

    分类 描述

    jeg-config

    更改 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 文件中的值。

    jupyter-kernel-overrides

    更改 Jupyter 内核规范文件中内核映像的值。

    配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如 spark-hive-site.xml)相对应。有关更多信息,请参阅配置应用程序

更改和功能

在 EKS 上发布的 Amazon EMR 7.12.0 版本中包含以下功能:

  • 冰山物化视图 — 从 EMR 7.12.0 开始,EMR Spark 支持创建和管理 Iceberg 物化视图 (MV)。

  • Hudi Full Table Acces s — 从 EMR 7.12.0 开始,EMR 现在支持根据你在 Lake Formation 中定义的策略,在 Apache Spark 中对 Apache Hudi 进行全表访问 (FTA) 控制。当作业角色具有完整表访问权限时,此功能允许对您的 Amazon EMR Spark 作业进行 Lake Formation 注册表的读写操作。

  • 冰山版本升级 — EMR 7.12.0 支持 Apache Iceberg 版本 1.10。

  • Livy 交互式工作负载的日志记录 — 从 EMR 7.12.0 开始,EMR 支持对关键系统组件进行大量日志记录,以改进 Livy Spark 作业失败的故障排除。此功能将使 EMR 服务能够访问其他 Livy 和 SecretAgent 日志,从而简化故障排除。