Amazon EMR on EKS 7.11.0 版 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR on EKS 7.11.0 版

本頁面描述了針對 Amazon EMR on EKS 部署的 Amazon EMR 新功能和更新功能。如需在 Amazon EC2 上執行的 Amazon EMR 和一般 Amazon EMR 7.11.0 版本的詳細資訊,請參閱《Amazon EMR 版本指南》中的 Amazon EMR 7.11.0

Amazon EMR on EKS 7.11 版

下列 Amazon EMR 7.11.0 版本適用於 Amazon EMR on EKS。選取特定的 emr-7.11.0-XXXX 版本,以檢視更多詳細資訊,例如相關的容器映像標籤。

Flink releases

當您執行 Flink 應用程式時,下列 Amazon EMR 7.11.0 版本可供 Amazon EMR on EKS 使用。

Spark releases

當您執行 Spark 應用程式時,Amazon EMR on EKS 可使用下列 Amazon EMR 7.11.0 版本。

  • emr-7.11.0-latest

  • emr-7.11.0-20251020

  • emr-7.11.0-spark-rapids-latest

  • emr-7.11.0-spark-rapids-20251020

  • emr-7.11.0-java11-latest

  • emr-7.11.0-java11-20251020

  • emr-7.11.0-java8-latest

  • emr-7.11.0-java8-20251020

  • emr-7.11.0-spark-rapids-java8-latest

  • emr-7.11.0-spark-rapids-java8-20251020

  • notebook-spark/emr-7.11.0-latest

  • notebook-spark/emr-7.11.0-20251020

  • notebook-spark/emr-7.11.0-spark-rapids-latest

  • notebook-spark/emr-7.11.0-spark-rapids-20251020

  • notebook-spark/emr-7.11.0-java11-latest

  • notebook-spark/emr-7.11.0-java11-20251020

  • notebook-spark/emr-7.11.0-java8-latest

  • notebook-spark/emr-7.11.0-java8-20251020

  • notebook-spark/emr-7.11.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.11.0-spark-rapids-java8-20251020

  • notebook-python/emr-7.11.0-latest

  • notebook-python/emr-7.11.0-20251020

  • notebook-python/emr-7.11.0-spark-rapids-latest

  • notebook-python/emr-7.11.0-spark-rapids-20251020

  • notebook-python/emr-7.11.0-java11-latest

  • notebook-python/emr-7.11.0-java11-20251020

  • notebook-python/emr-7.11.0-java8-latest

  • notebook-python/emr-7.11.0-java8-20251020

  • notebook-python/emr-7.11.0-spark-rapids-java8-latest

  • notebook-python/emr-7.11.0-spark-rapids-java8-20251020

  • livy/emr-7.11.0-latest

  • livy/emr-7.11.0-20251020

  • livy/emr-7.11.0-java11-latest

  • livy/emr-7.11.0-java11-20251020

  • livy/emr-7.11.0-java8-latest

  • livy/emr-7.11.0-java8-20251020

版本備註

Amazon EMR on EKS 7.11.0 版本備註:

  • 支援的應用程式:適用於 Java 的 AWS SDK 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-0, Apache Hudi 1.0.2-amzn-0, Apache Iceberg 1.9.1-amzn-0, Delta 3.3.2-amzn-0, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-5

  • 支援的元件 - emr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkiceberg、、spark-kubernetes

  • 支援的組態分類

    若要與 StartJobRunCreateManagedEndpoint API 搭配使用:

    分類 描述

    core-site

    變更 core-site.xml Hadoop 檔案中的值。

    emrfs-site

    變更 EMRFS 設定。

    spark-metrics

    變更 metrics.properties Spark 檔案中的值。

    spark-defaults

    變更 spark-defaults.conf Spark 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 hive-site.xml Spark 檔案中的值。

    spark-log4j2

    變更 log4j2.properties Spark 檔案中的值。

    emr-job-submitter

    作業提交者 Pod 的組態。

    專門搭配 CreateManagedEndpoint API 使用:

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案,例如 spark-hive-site.xml。如需詳細資訊,請參閱設定應用程式

變更和功能

Amazon EMR on EKS 7.11.0 版包含下列變更:

Amazon EMR on EKS 現在支援透過受管 Livy 解決方案與 SageMaker Unified Studio 整合,包括:

  • 受管工作階段:新的互動式工作階段資源類型,提供自訂 HTTPS 端點,以透過 SageMaker Unified Studio 在 EKS 叢集上執行 Spark 工作階段

  • Lake Formation 整合:支援兩種模式的資料存取控制 a) 精細存取控制 b) 完整資料表存取 (相容性模式)

  • Identity Management:彈性身分驗證選項 a) IAM 角色型存取控制 b) 型存取控制。

  • 具有整合的使用者背景工作階段:支援長時間執行的 Spark 工作負載,即使使用者從 SageMaker Unified Studio 登出,也支援長達 90 天的工作階段