本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
EKS 7.13.0 版本上的 Amazon EMR
本页介绍了 Amazon EMR 的新增和更新的功能,这些功能特定于 Amazon EMR on EKS 部署。有关在亚马逊 EC2 上运行的亚马逊 EMR 以及亚马逊 EMR 7.13.0 的总体版本的详细信息,请参阅亚马逊 EMR 发布指南中的亚马逊 EM R 7.13. 0。
EKS 7.13 版本上的 Amazon EMR
以下亚马逊 EMR 7.13.0 版本可用于 EKS 上的亚马逊 EMR。选择特定的 EMR-7.13.0-xxxx 版本以查看更多详细信息,例如相关的容器映像标签。
发行说明
EKS 7.13.0 上亚马逊 EMR 的发布说明:
-
支持的应用程序 - 适用于 Java 的 AWS SDK 2.42.12 and 1.12.797, Apache Spark 3.5.6-amzn-2, Apache Hudi 1.0.2-amzn-2, Apache Iceberg 1.10.0-amzn-1, Delta 3.3.2-amzn-2, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-7
-
支持的组件 ‐
emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。 -
支持的配置分类
与StartJobRun和一起使用 CreateManagedEndpoint APIs:
分类 描述 core-site更改
core-site.xmlHadoop 文件中的值。emrfs-site更改 EMRFS 设置。
spark-metrics更改
metrics.propertiesSpark 文件中的值。spark-defaults更改
spark-defaults.confSpark 文件中的值。spark-env更改 Spark 环境中的值。
spark-hive-site更改
hive-site.xmlSpark 文件中的值。spark-log4j2更改
log4j2.propertiesSpark 文件中的值。emr-job-submitter任务提交者 Pod 的配置。
专门用于以下用途 CreateManagedEndpoint APIs:
分类 描述 jeg-config更改 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py文件中的值。jupyter-kernel-overrides更改 Jupyter 内核规范文件中内核映像的值。
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如
spark-hive-site.xml)相对应。有关更多信息,请参阅配置应用程序。
更改和功能
EKS 上的 Amazon EMR 7.13.0 版本包含以下功能:
-
Python 3.11 默认为 Spark 工作负载 — Python 3.11 现在是 Spark 工作负载的默认 Python 版本。 PySpark PySpark Python 3.9 仍然是所有其他应用程序的默认设置。Python 3.9 和 3.11 都包含在该版本中。