View a markdown version of this page

AWS runtime for Apache Spark (emr-spark-8.0.0) - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS runtime for Apache Spark (emr-spark-8.0.0)

下表列出 AWS runtime for Apache Spark(emr-spark-8.0.0) 可用的應用程式版本。

應用程式版本資訊
應用程式 版本
Spark 4.0.2-amzn-0
Iceberg 1.10.1-amzn-0
Delta 4.0.0-amzn-1-spark
Hudi 1.1.0-amzn-0
AWS runtime for Apache Spark (emr-spark-8.0.0) 版本備註
  • GA 版本 – 這是AWS runtime for Apache Spark採用 Apache Spark 4.0.2 的一般發行版本。此版本適用於 EMR Serverless、EMR on EC2 和 EMR on EKS。

  • 區域可用性 - 適用於提供 EMR Serverless 的所有 AWS 區域,中東 (巴林) 和中東 (阿拉伯聯合大公國) 區域除外。

  • 已知限制 - 此版本不提供具有原生 FGAC 支援的 Spark Connect 安全端點。

  • 其他文件 - 如需其他 Apache Spark 文件,請參閱 Apache Spark 4.0.2 版本文件。

開始使用

若要開始使用 Apache Spark 4.0.2,請使用 CLI AWS 建立 EMR Serverless 應用程式:

aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
備註
  • 此版本會取代預覽版本 (emr-spark-8.0-preview)。預覽僅限於 Spark 4.0.1,且缺少 FGAC、Hudi、資料連接器和持久性 Spark 歷史記錄伺服器。

  • create-application 使用的 --type 參數 SPARK(大寫)。