EMR Serverless 7.14.0

EMR Serverless 7.14.0 リリースノート

• 変更と機能強化

  • カスタムイメージリリースバージョンの検証 — カスタムイメージを使用すると、EMR Serverless はベースイメージが同じ Amazon EMR リリースを使用していることを確認します。イメージのリリースバージョンがアプリケーションのリリースバージョンと一致しない場合、またはイメージにリリースバージョンがない場合、リクエストは拒否されます。メッセージは、使用するベースイメージのバージョンを識別します。一致する EMR Serverless ベースイメージからカスタムイメージを再構築します。

  • Spark ジョブのサーバーレスストレージデータ制限の引き上げ — このリリースでは、Spark ジョブのサーバーレスストレージデータ制限が 200 GiB から 1 TiB に引き上げられました。

  • Spark Connect セッションのきめ細かなアクセスコントロール — Apache Spark Connect で実行するインタラクティブな PySpark セッションでは AWS Lake Formation 、きめ細かなアクセスコントロールがサポートされるようになりました。Lake Formation で定義したテーブル、行、列、セルレベルのアクセス許可は、セッションクエリに適用されます。詳細については、「for Spark Connect AWS Lake Formation セッションによるきめ細かなアクセスコントロール」を参照してください。

  • きめ細かなアクセスコントロールの改善 — このリリースでは、アクセスコントロールされたテーブルのデータフィルター、タイムトラベルクエリ、Delta Lake テーブルオペレーションが改善されました。また、きめ細かなアクセスコントロールを使用する Delta Lake テーブルでの VACUUMオペレーションもサポートしています。

  • Merged Spark 設定 — 以降emr-7.14.0、EMR Serverless は Spark 設定を置き換える代わりにマージします。アプリケーションレベルで設定セットと、個々のジョブまたはセッションの設定セットを組み合わせます。両方のレベルで同じ設定が設定されている場合、ジョブまたはセッションの値が優先されます。以前のリリースでは、ジョブまたはセッション設定はアプリケーションレベルの設定を完全に置き換えます。