AWS runtime for Apache Spark (emr-spark-8.0-preview)

AWS runtime for Apache Spark (emr-spark-8.0-preview) リリースノート

• プレビューリリース – これは、Apache Spark 4.0.1 AWS runtime for Apache Sparkを搭載した のプレビューリリースです。このプレビューは EMR Serverless でのみ使用できます。

• リージョンの可用性 - このプレビューリリースは、中国および AWS GovCloud (米国) AWS リージョンを除く、EMR Serverless が利用可能なすべてのリージョンで利用できます。

• アプリケーションバージョン情報 - このリリースには、次のアプリケーションバージョンが付属しています。

  • AWS SDK for Java 2.35.5, 1.12.792

  • Python3.9、 3.11, 3.12

  • Scala 2.13.16

  • AmazonCloudWatchAgent 1.300034.0-amzn-0

  • デルタ 4.0.0-amzn-0-spark

  • Iceberg 1.10.0-amzn-spark-0

  • このリリースには、Corretto 17 (OpenJDK) をサポートするアプリケーション用に、デフォルトで Amazon Corretto 17 (OpenJDK 上に構築) が付属しています。

• プレビューの制限 - このプレビューリリースでは、次の機能は使用できません。

  • インタラクティブおよび統合機能: SageMaker Unified Studio、EMR Studio 統合、Spark Connect、Livy、JupyterEnterpriseGateway はサポートされていません。

  • テーブル形式とアクセスコントロール: Hudi、Delta ユニバーサル形式、および行レベルまたは列レベルのフィルタリングと DDL/DML 演算子を使用したきめ細かなアクセスコントロール (FGAC) はサポートされていません。

  • データコネクタ: spark-sql-kinesis、emr-dynamodb、spark-redshift コネクタは使用できません。

  • 履歴サーバー: 永続 Spark 履歴サーバーは、このプレビューリリースでは利用できません。ユーザーは引き続きライブ Spark UI にアクセスして、アクティブなサーバーレスジョブをリアルタイムでモニタリングおよびデバッグできます。

  • 特殊な機能: マテリアライズドビューは使用できません。

• プレビュー機能 - このプレビューリリースでは、次の機能をテストできます。このプレビューリリースは、本番ワークロードにはお勧めしません。

  • SQL 機能: より厳密な型処理を使用する ANSI SQL モード、連鎖オペレーション用の SQL PIPE 構文 (|>)、半構造化 JSON データ用の VARIANT データ型、制御フローステートメントとセッション変数を使用した SQL スクリプト、SQL ユーザー定義関数。

  • ストリーミングの機能強化: transformWithState 演算子を使用した任意ステートフル処理 API v2、クエリ可能なストリーミング状態 (実験的) 用のステートデータソースリーダー、RocksDB 変更ログチェックポイントが改善された拡張ステートストア。

  • テーブル形式のサポート: VARIANT データ型をサポートする Apache Iceberg v3、 AWS S3 Tables 統合、Iceberg、Delta Lake、Hive テーブル AWS Lake Formation 用の とのフルテーブルアクセス (FTA)。

• 追加のドキュメント - 追加の Apache Spark ドキュメントについては、「Apache Spark 4.0.1 リリースドキュメント」を参照してください。