Amazon EMR on EKS 7.2.0 リリース - Amazon EMR
リリースリリースノート機能

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR on EKS 7.2.0 リリース

このページでは、Amazon EMR on EKS デプロイに固有の Amazon EMR の新しい機能と更新された機能について説明します。Amazon EC2 で実行されている Amazon EMR の詳細と Amazon EMR 7.2.0 リリース全般の詳細については、「Amazon EMR リリースガイド」の「Amazon EMR 7.2.0」を参照してください。

Amazon EMR on EKS 7.2 リリース

Amazon EMR on EKS では、次の Amazon EMR 7.2.0 リリースが利用可能です。特定の emr-7.2.0-XXXX リリースを選択すると、関連するコンテナイメージタグなどの詳細が表示されます。

Flink releases

Flink アプリケーションを実行する場合は、Amazon EMR on EKS で次の Amazon EMR 7.2.0 リリースを利用できます。

Spark releases

Spark アプリケーションを実行する場合は、Amazon EMR on EKS で次の Amazon EMR 7.2.0 リリースを利用できます。

  • emr-7.2.0-latest

  • emr-7.2.0-20240610

  • emr-7.2.0-spark-rapids-latest

  • emr-7.2.0-spark-rapids-20240610

  • emr-7.2.0-java11-latest

  • emr-7.2.0-java11-20240610

  • emr-7.2.0-java8-latest

  • emr-7.2.0-java8-20240610

  • emr-7.2.0-spark-rapids-java8-latest

  • emr-7.2.0-spark-rapids-java8-20240610

  • notebook-spark/emr-7.2.0-latest

  • notebook-spark/emr-7.2.0-20240610

  • notebook-spark/emr-7.2.0-spark-rapids-latest

  • notebook-spark/emr-7.2.0-spark-rapids-20240610

  • notebook-spark/emr-7.2.0-java11-latest

  • notebook-spark/emr-7.2.0-java11-20240610

  • notebook-spark/emr-7.2.0-java8-latest

  • notebook-spark/emr-7.2.0-java8-20240610

  • notebook-spark/emr-7.2.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.2.0-spark-rapids-java8-20240610

  • notebook-python/emr-7.2.0-latest

  • notebook-python/emr-7.2.0-20240610

  • notebook-python/emr-7.2.0-spark-rapids-latest

  • notebook-python/emr-7.2.0-spark-rapids-20240610

  • notebook-python/emr-7.2.0-java11-latest

  • notebook-python/emr-7.2.0-java11-20240610

  • notebook-python/emr-7.2.0-java8-latest

  • notebook-python/emr-7.2.0-java8-20240610

  • notebook-python/emr-7.2.0-spark-rapids-java8-latest

  • notebook-python/emr-7.2.0-spark-rapids-java8-20240610

  • livy/emr-7.2.0-latest

  • livy/emr-7.2.0-20240610

  • livy/emr-7.2.0-java11-latest

  • livy/emr-7.2.0-java11-20240610

  • livy/emr-7.2.0-java8-latest

  • livy/emr-7.2.0-java8-20240610

リリースノート

Amazon EMR on EKS 7.2.0 のリリースノート

  • サポートされているアプリケーション - AWS SDK for Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1

  • サポートされているコンポーネント - aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • サポートされている設定分類

    StartJobRun API と CreateManagedEndpoint API で使用する場合:

    分類 説明

    core-site

    core-site.xml Hadoop ファイル内の値を変更します。

    emrfs-site

    EMRFS の設定を変更します。

    spark-metrics

    metrics.properties Spark ファイル内の値を変更します。

    spark-defaults

    spark-defaults.conf Spark ファイル内の値を変更します。

    spark-env

    Spark 環境の値を変更します。

    spark-hive-site

    hive-site.xml Spark ファイル内の値を変更します。

    spark-log4j2

    log4j2.properties Spark ファイル内の値を変更します。

    emr-job-submitter

    ジョブ送信者ポッドの設定。

    特に CreateManagedEndpoint API で使用する場合:

    分類 説明

    jeg-config

    Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py ファイルの値を変更します。

    jupyter-kernel-overrides

    Jupyter カーネル仕様ファイル内のカーネルイメージの値を変更します。

    設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、spark-hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

注目すべき機能

Amazon EMR on EKS の 7.2.0 リリースには、以下の機能が含まれています。

  • アプリケーションのアップグレード - Amazon EMR on EKS 7.2.0 アプリケーションのアップグレードには、Spark 3.5.1、Flink 1.18.1、および Flink Operator 1.8.0 が含まれます。

  • Flink 更新用の Autoscaler – 7.2.0 リリースでは、オープンソース設定 job.autoscaler.restart.time-tracking.enabled を使用して再スケーリング時間の推定を有効にするため、再起動時間に経験値を手動で割り当てる必要がなくなります。7.1.0 以前を実行する場合は、引き続き Amazon EMR 自動スケーリングを使用できます。

  • Amazon EMR on EKS での Apache Hudi 統合 Apache Flink – このリリースでは、Apache Hudi と Apache Flink 間の統合が追加されているため、Flink Kubernetes 演算子を使用して Hudi ジョブを実行できます。Hudi では、データ管理とデータパイプライン開発を簡素化するために使用できるレコードレベルのオペレーションを使用できます。

  • Amazon S3 Express One Zone と Amazon EMR on EKS との統合 – 7.2.0 以降では、Amazon EMR on EKS を使用して S3 Express One Zone にデータをアップロードできます。S3 Express One Zone は、最もレイテンシーの影響を受けやすいアプリケーションに 1 桁のミリ秒単位で一貫したデータアクセスを提供する、高パフォーマンスの単一ゾーンの Amazon S3 ストレージクラスです。リリース時点で、S3 Express One Zone は、Amazon S3 の中でレイテンシーが最も低く、パフォーマンスの最も高いクラウドオブジェクトストレージを提供しています。

  • Spark 演算子でのデフォルト設定のサポート – Amazon EKS の Spark 演算子は、7.2.0 以降で Amazon EMR on EKS の開始ジョブ実行モデルと同じデフォルト設定をサポートするようになりました。つまり、Amazon S3 や EMRFS などの機能では、yaml ファイルでの手動設定が不要になります。