View a markdown version of this page

AWS EKS での Apache Spark (emr-spark-8.0.0) のランタイム - Amazon EMR
リリースリリースノート変更点と機能

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS EKS での Apache Spark (emr-spark-8.0.0) のランタイム

このページでは、Amazon EMR on EKS デプロイに固有の Amazon EMR の新しい機能と更新された機能について説明します。Amazon EC2 で実行されている Amazon EMR および Amazon EMR Spark 8.0.0 リリース全般の詳細については、Amazon EMR リリースガイドのAWS 「Apache Spark のランタイム (emr-spark-8.0.0)」を参照してください。

AWS EKS での Apache Spark (emr-spark-8.0.0) のランタイム

Apache Spark on EKS の AWS ランタイムでは、次の emr-spark-8.0.0 リリースを利用できます。

  • spark/emr-spark-8.0.0-latest

  • spark/emr-spark-8.0.0-20260421

  • notebook-spark/emr-spark-8.0.0-latest

  • notebook-spark/emr-spark-8.0.0-20260421

  • notebook-python/emr-spark-8.0.0-latest

  • notebook-python/emr-spark-8.0.0-20260421

  • livy/emr-spark-8.0.0-latest

  • livy/emr-spark-8.0.0-20260421

リリースノート

EKS での Apache Spark (emr-spark-8.0.0) AWS のランタイムのリリースノート:

  • サポートされているアプリケーション - AWS SDK for Java 2.41.32, Apache Spark 4.0.2-amzn-0, Apache Hudi 1.1.0-amzn-0, Apache Iceberg 1.10.1-amzn-0, Delta Lake 4.0.0-amzn-1-spark

  • サポートされているコンポーネント - emr-ddb、emr-goodies、、hadoop-client、hudi、hudi-sparkiceberg、spark-kubernetes。

  • サポートされている設定分類

    StartJobRun API と CreateManagedEndpoint API で使用する場合:

    分類 説明

    core-site

    core-site.xml Hadoop ファイル内の値を変更します。

    spark-metrics

    metrics.properties Spark ファイル内の値を変更します。

    spark-defaults

    spark-defaults.conf Spark ファイル内の値を変更します。

    spark-env

    Spark 環境の値を変更します。

    spark-hive-site

    hive-site.xml Spark ファイル内の値を変更します。

    spark-log4j2

    log4j2.properties Spark ファイル内の値を変更します。

    emr-job-submitter

    ジョブ送信者ポッドの設定。

    特に CreateManagedEndpoint API で使用する場合:

    分類 説明

    jeg-config

    Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py ファイルの値を変更します。

    jupyter-kernel-overrides

    Jupyter カーネル仕様ファイル内のカーネルイメージの値を変更します。

    設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、spark-hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

変更点と機能

Apache Spark on EKS の AWS ランタイムの emr-spark-8.0.0 リリースには、次の機能が含まれています。

  • Apache Spark 4.0.2 GA – ANSI SQL モード、SQL PIPE 構文、VARIANT データ型、SQL スクリプティング、ストリーミング機能強化を特徴とする、Amazon EMR on EKS での Spark 4.x の最初の本番環境対応リリース。

  • Python 3.11 デフォルト – Python 3.11 は PySpark および Spark ワークロードのデフォルトです。Python 3.12 と 3.13 も利用可能です。