翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# 最新情報
このページでは、Amazon EMR 7.x、6.x、5.x の最新リリースで提供する変更点と機能について説明します。
これらのリリースノートは、[各リリースのアプリケーションバージョン、コンポーネントバージョン、使用可能な設定分類とともに、Amazon EMR 7.13.0](emr-7130-release.md)、Amazon [EMR 6.15.0](emr-6150-release.md)、および [Amazon EMR 5.36.2](emr-5362-release.md) ページでも利用できます。
+ これ以前のリリースのリリースノートについては、「[Amazon EMR リリースノートのアーカイブ](emr-whatsnew-history.md)」を参照してください。
+ 新しい Amazon EMR リリースが利用可能になったときに更新を取得するには、[Amazon EMR リリースノートの RSS フィード](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss)にサブスクライブします。
**注記**
Amazon EMR のそれ以降のリリースでは、 AWS 署名バージョン 4 (SigV4) を使用して Amazon S3 へのリクエストを認証します。SigV4 をサポートする Amazon EMR リリースを使用することをお勧めします。これにより、新しい S3 バケットにアクセスでき、ワークロードの中断を回避できます。SigV4 をサポートする Amazon EMR リリースの詳細とリストについては、「[Amazon EMR と AWS 署名バージョン 4](#emr-sigv4)」を参照してください。
## Apache Spark のアップグレードとエージェントのトラブルシューティング
**Apache Spark アップグレードエージェント**
Amazon EMR 用 Apache Spark アップグレードエージェントは、EMR アプリケーションの Apache Spark バージョンアップグレードを高速化する会話型 AI 機能です。従来の Spark のアップグレードでは、API の変更を分析し、依存関係の競合を解決し、機能の正確性を検証するために数か月のエンジニアリング作業が必要です。エージェントは、自然言語プロンプト、自動コード変換、データ品質検証を通じてアップグレードプロセスを簡素化します。
エージェントを使用して、EC2 および Amazon EMR Serverless の Amazon EMR で実行されている PySpark および Scala アプリケーションをアップグレードできます。エージェントはコードを分析し、必要な変更を特定し、すべての変更の承認コントロールを維持しながら自動変換を実行します。詳細については、「」を参照してください[Amazon EMR 用の Apache Spark アップグレードエージェントとは](spark-upgrades.md)。
**Apache Spark エージェントのトラブルシューティング**
Amazon EMR の Apache Spark トラブルシューティングエージェントは、Amazon EMR、 AWS Glue、Amazon SageMaker ノートブック上の Apache Spark アプリケーションのトラブルシューティングを簡素化する会話型 AI 機能です。従来の Spark トラブルシューティングでは、根本原因とコード修正を特定するために、ログ、パフォーマンスメトリクス、エラーパターンの広範な手動分析が必要です。エージェントは、自然言語プロンプト、自動化されたワークロード分析、インテリジェントなコードレコメンデーションにより、このプロセスを簡素化します。
エージェントを使用して、PySpark および Scala アプリケーションの障害をトラブルシューティングできます。エージェントは失敗したジョブを分析し、パフォーマンスのボトルネックを特定し、実装の決定を完全に制御しながら、実用的な推奨事項とコード修正を提供します。詳細については、「」を参照してください[Amazon EMR の Apache Spark トラブルシューティングエージェントとは](spark-troubleshoot.md)。
## Amazon EMR 7.13.0 (7.x シリーズの最新リリース)
新しい Amazon EMR リリースは、特定のリージョンで最初に利用可能になり、その後数日で、他のリージョンでも利用できるようになります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。
次のリリースノートには、Amazon EMR リリース 7.13.0 に関する情報が含まれています。
### 最新情報
+ **PySpark および Spark ワークロードの Python 3.11 デフォルト** — Python 3.11 が PySpark および Spark ワークロードのデフォルト Python バージョンになりました。Python 3.9 は、他のすべてのアプリケーションのデフォルトのままです。Python 3.9 と 3.11 の両方がリリースに含まれています。
### 変更点、機能強化、解決した問題
+ **Iceberg 設定プロパティ** — Amazon EMR 7.13 は、新しい Iceberg 設定プロパティ を追加します`spark.sql.catalog.spark_catalog.route-non-iceberg-drop-to-session-catalog`。に設定すると`true`、 の Iceberg 以外のマネージドテーブル`DROP TABLE`では、テーブルメタデータと基盤となる Amazon S3 データの両方が`SparkSessionCatalog`削除されます。デフォルト値は `false` です。
### アプリケーションのアップグレード
このリリースでは、次のアプリケーションがアップグレードされます。
+ HBase 2.6.4-amzn-0 (2.6.2-amzn-3 からアップグレード)
+ Hadoop 3.4.2-amzn-0 (3.4.1-amzn-4 からアップグレード)
+ Phoenix 5.3.0 (5.2.1 からアップグレード)
+ Hudi 1.0.2-amzn-2 (1.0.2-amzn-1 からアップグレード)
+ Trino 479-amzn-1 (476-amzn-1 からアップグレード)
+ AWS SDK v2 2.42.12 (2.35.5 からアップグレード)
+ AWS SDK v1 1.12.797 (1.12.792 からアップグレード)
+ Spark 3.5.6-amzn-2、Hive 3.1.3-amzn-22、Tez 0.10.2-amzn-20、Presto 0.287-amzn-7、Iceberg 1.10.0-amzn-1、Delta 3.3.2-amzn-2、Flink 1.20.0-amzn-7、ZooKeeper 3.9.3-amzn-5 (amzn パッチバンプ)
### 既知の問題と制限
このリリースには既知の問題はありません。
## Amazon EMR 6.15.0 (6.x シリーズの最新リリース)
新しい Amazon EMR リリースは、特定のリージョンで最初に利用可能になり、その後数日で、他のリージョンでも利用できるようになります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。
次のリリースノートには、Amazon EMR リリース 6.15.0 に関する情報が含まれています。6.14.0 からの変更が含まれています。リリースタイムラインの詳細については、「[6.15.0 変更ログ](emr-6150-release.md#6150-changelog)」を参照してください。
**新機能**
+ **アプリケーションのアップグレード** - Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
+ **[EC2 で実行される EMR クラスターの起動時間の短縮](https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-emr-ec2-clusters-5-minutes-less/)** - EC2 クラスターでの Amazon EMR の起動が最大 35% 速くなりました。この改善により、お客様の大多数はクラスターを 5 分以内に起動できます。
+ **[EMR Studio 用 CodeWhisperer](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-codewhisperer.html)** - Amazon EMR Studio で Amazon CodeWhisperer を使用すると、JupyterLab でコードを作成する際にリアルタイムで推奨事項を取得できるようになりました。CodeWhisperer により、コメントを完成させたり、1 行のコードを完成させたり、1 行ずつ推奨を行ったり、完全な形式の関数を生成したりできます。
+ **[Flink によるジョブの再起動時間の短縮](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-restart.html)** - Amazon EMR 6.15.0 以降では、Apache Flink にいくつかの新しいメカニズムが用意され、タスクの回復またはスケーリング操作中のジョブの再起動時間を短縮できます。これにより、実行グラフの回復と再開の速度を最適化してジョブの安定性を高めることができます。
+ **[オープンテーブル形式のテーブルレベルおよびきめ細かなアクセスコントロール](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lf-enable.html)** – Amazon EMR 6.15.0 以降では、 AWS Glue Data Catalog のデータにアクセスする EC2 クラスターで Amazon EMR で Spark ジョブを実行すると、 AWS Lake Formation を使用して Hudi、Iceberg、または Delta Lake ベースのテーブルにテーブル、行、列、およびセルレベルのアクセス許可を適用できます。
+ **Hadoop のアップグレード** - Amazon EMR 6.15.0 には、Apache Hadoop のバージョン 3.3.6 へのアップグレードが含まれています。Hadoop 3.3.6 は、2023 年 6 月にアパッチによってリリースされた Amazon EMR 6.15 のデプロイ時の最新バージョンでした。Amazon EMR の以前のリリース (6.9.0 から 6.14.x) では Hadoop 3.3.3 が使用されていました。
このアップグレードには数百の改善と修正が含まれており、再構成可能なデータノードパラメータ、すべてのライブデータノードで一括再構成操作を開始する `DFSAdmin` オプション、シーク負荷の高いリーダーが複数の読み取り範囲を指定できるベクトル API などの機能が含まれています。Hadoop 3.3.6 では、HBase が他のストレージシステム実装でも実行できるように、HDFS API と先行書き込みログ (WAL) のセマンティクスのサポートも追加されています。詳細については、「*Apache Hadoop documentation*」のバージョン [3.3.4](https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/release/3.3.4/CHANGELOG.3.3.4.html)、[3.3.5](https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/release/3.3.5/CHANGELOG.3.3.5.html)、[3.3.6](https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/release/3.3.6/CHANGELOG.3.3.6.html) の変更ログを参照してください。
+ ** AWS SDK for Java バージョン 2 のサポート** - アプリケーションが v2 をサポートしている場合は、Amazon EMR 6.15.0 アプリケーションは AWS SDK for Java バージョン [1.12.569](https://github.com/aws/aws-sdk-java/tree/1.12.569) または [2.20.160](https://github.com/aws/aws-sdk-java-v2/tree/2.20.160) を使用できます。 AWS SDK for Java 2.x は、バージョン 1.x コードベースの大幅な書き換えです。今回のバージョンは Java 8 以降をベースに構築されており、これまで要望の声が高かった機能が複数追加されています。このバージョンでは、ノンブロッキング I/O がサポートされており、ランタイム時にさまざまな HTTP 実装をプラグインすることができます。**SDK for Java v1 から v2 への移行ガイド**を含めた詳細については、[AWS SDK for Java バージョン 2](https://docs.aws.amazon.com/sdk-for-java) ガイドを参照してください。
**既知の問題**
+ クラスター上でインスタンスの健全性を監視するインスタンス状態スクリプトは、ノード上に大量のスレッドやオープンファイルハンドルが存在する場合、過度の CPU およびメモリリソースを消費する可能性があります。
**変更点、機能強化、解決した問題**
+ Spark 3.3.1 (EMR バージョン 6.10 以降でサポート) 以降、廃止ホスト内のすべてのエグゼキュターは *DECOMMISSIONING* 状態と呼ばれる新しい `ExecutorState` に設定されます。デコミッション中のエグゼキューターは、Yarn がタスクを割り当てるために使用することができないため、実行中のタスクに対して、必要に応じて新しいエグゼキューターをリクエストします。したがって、EMR Managed Scaling、EMR Auto Scaling、または EMR-EC2 クラスターでカスタムスケーリングメカニズムを使用しているときに Spark DRA を無効にすることにより、Yarn はジョブごとに最大許容エグゼキュターをリクエストすることがあります。この問題を回避するには、上記の機能の組み合わせを使用しているときに、`spark.dynamicAllocation.enabled` プロパティを `TRUE` (デフォルト) に設定したままにします。さらに、Spark ジョブの `spark.dynamicAllocation.maxExecutors` および `spark.dynamicAllocation.minExecutors` プロパティの値を設定して、ジョブの実行中に割り当てられるエグゼキュターの数を制限することで、エグゼキュターの最小制約と最大制約を設定することもできます。
+ 高可用性 EMR クラスターを改善するため、このリリースでは、IPv6 エンドポイントを使用するローカルホスト上の Amazon EMR デーモンへの接続が可能になりました。
+ このリリースでは、TLS 1.2 が高可用性クラスターのすべてのプライマリノードにプロビジョニングされた ZooKeeper と通信できるようになります。
+ このリリースでは、プライマリノードで管理される ZooKeeper トランザクションログファイルの管理が改善され、ログファイルが範囲外になり、クラスターの操作が中断されるシナリオを最小限に抑えることができます。
+ このリリースにより、高可用性 EMR クラスターのノード内通信の回復力が高まりました。この改善により、ブートストラップアクションが失敗したり、クラスターの起動に失敗したりする可能性が低くなります。
+ Amazon EMR 6.15.0 の Tez では、入力スプリットを Tez グループ分割で非同期的に開くように指定できる設定が導入されています。これにより、1 つの Tez グループ分割で多数の入力分割がある場合に、読み取りクエリのパフォーマンスが向上します。詳細については、「[Tez 非同期スプリットオープン](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/tez-configure.html#tez-configure-async)」を参照してください。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。
[See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-whatsnew.html)
## Amazon EMR 5.36.2 (5.x シリーズの最新リリース)
新しい Amazon EMR リリースは、特定のリージョンで最初に利用可能になり、その後数日で、他のリージョンでも利用できるようになります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。
次のリリースノートには、Amazon EMR リリース 5.36.2 に関する情報が含まれています。5.36.1 からの変更が含まれています。リリースタイムラインの詳細については、「[変更ログ](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5362-release.html#5362-changelog)」を参照してください。
**変更点、機能強化、解決した問題**
+ このリリースでは、クラスターのスケールダウンロジックが改善され、Amazon EMR がクラスターの HDFS レプリケーション係数設定を下回ってコアノードをスケールダウンしなくなりました。この改善によりデータの冗長性要件が満たされ、スケーリング操作が停止する可能性が低くなります。
+ このリリースでは、Presto または Trino を実行する EMR クラスターのクラスタースケーリングワークフローに新しい再試行メカニズムが追加されています。この改善により、サイズ変更操作が 1 回失敗したためにクラスターのサイズ変更が無期限に実行するリスクが軽減されます。また、クラスターのスケールアップとスケールダウンが速くなるため、クラスターの使用率も向上します。
+ Amazon EMR がコアノードを正常に廃止し、完全に廃止される前に異常になる間に、クラスターのスケールダウン操作が停止する問題を修正しました。
+ Amazon EMR が 1 つのノードを再起動すると、複数のプライマリノードを持つ高可用性クラスター内のノードの安定性が向上します。
+ Amazon EC2 で実行されている Amazon EMR でのログ管理が最適化されています。その結果、クラスターログのストレージコストがわずかに削減される可能性があります。
+ プライマリノードで管理される ZooKeeper トランザクションログファイルの管理が改善され、ログファイルが範囲外になり、クラスターの操作が中断されるシナリオを最小限に抑えることができます。
+ Yarn ResourceManager と通信できないために、複数のプライマリノードを持つ高可用性クラスターが失敗する可能性のあるまれなバグを修正しました。
+ Amazon EMR 5.36 以降、6.6 以降、7.0 以降の*最新のパッチリリース*を使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2023 または Amazon Linux 2 リリースを使用します。詳細については、「[Amazon EMR にデフォルトの Amazon Linux AMI を使用する](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)」を参照してください。
[See the AWS documentation website for more details](http://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-whatsnew.html)
## Amazon EMR と AWS 署名バージョン 4
Amazon EMR リリースでは、 AWS 署名バージョン 4 (SigV4) を使用して Amazon S3 へのリクエストを認証します。2020 年 6 月 24 日以降に Amazon S3 で作成されたバケットは、Signature Version 2 (SigV2) によって署名されたリクエストをサポートしていません。2020 年 6 月 24 日以前に作成されたバケットは、引き続き SigV2 をサポートします。SigV4 をサポートする Amazon EMR リリースに移行することをお勧めします。これにより、新しい S3 バケットにアクセスでき、ワークロードの中断を回避できます。
Apache Spark、Apache Hive、Presto など、Amazon EMR に含まれるアプリケーションを使用している場合、SigV4 を使用するようにアプリケーションコードを変更する必要はありません。Amazon EMR に含まれていないカスタムアプリケーションを使用している場合は、SigV4 を使用するようにコードを更新する必要があるかもしれません。詳細については、「Amazon S3 ユーザーガイド」の「[Signature バージョン 2 から Signature バージョン 4 への移行](https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingAWSSDK.html#UsingAWSSDK-move-to-Sig4)」を参照してください。
以下の Amazon EMR リリースは、SigV4 をサポートしています (emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1, emr-5.21.2, and emr-5.22.0 and higher)。6.x と 7.x のすべてのリリースが SigV4 をサポートしています。