Spark ジョブの AWS Glue の AWS Glue バージョン 5.1 への移行

Apache Spark が AWS Glue 5.0 の 3.5.4 から AWS Glue 5.1 の 3.5.6 に更新されました。

オープンテーブルフォーマット (OTF) が Hudi 1.0.2、Iceberg 1.10.0、Delta Lake 3.3.2 に更新

Iceberg マテリアライズドビュー - Iceberg マテリアライズドビュー (MV) を作成および管理します。詳細については、ブログ記事を参照してください。

Iceberg 形式バージョン 3.0 - データ型と既存のメタデータ構造を拡張して新機能を追加します。詳細については、「Iceberg テーブル仕様」を参照してください。

Hudi フルテーブルアクセス - 定義されたポリシーに基づいて、Apache Spark の Apache Hudi のフルテーブルアクセス (FTA) を制御します。この機能により、ジョブロールにフルテーブルアクセスがある場合は、AWS Glue ETL ジョブからの登録済みテーブルに対する読み取りおよび書き込み操作が有効になります。

Spark ネイティブのきめ細かなアクセスコントロール (FGAC) は、登録されている Apache Hive、Apache Iceberg、Delta Lake テーブルのテーブルに対して、DDL/DML 操作 (CREATE、ALTER、DELETE、DROP など) をサポートします。

Spark ジョブの監査コンテキスト - ジョブが有効になっている AWS Glue ETL ジョブの監査コンテキストは、ログの AWS Glue および AWS Lake Formation API コールで利用できます。

マテリアライズドビューの作成、クエリの書き換え、および増分更新におけるビューの SQL 句のサポートには制限があります。詳細については、Iceberg マテリアライズドビュー機能のドキュメントページを参照してください。

Hudi FTA 書き込みでは、ジョブ実行中の認証情報の払い出しに HoodieCredentialedHadoopStorage を使用する必要があります。Hudi ジョブを実行するときは、次の設定を行います。

hoodie.storage.class=org.apache.spark.sql.hudi.storage.HoodieCredentialedHadoopStorage

Hudi FTA 書き込みサポートは、デフォルトの Hudi 設定でのみ機能します。カスタムまたはデフォルト以外の Hudi 設定は完全にサポートされていない可能性があり、予期しない動作が発生する可能性があります。Hudi Merge-On-Read (MOR) テーブルのクラスタリングも、FTA 書き込みモードではサポートされていません。

S3A ファイルシステムは、EMRFS をデフォルトの S3 コネクタとして置き換えました。統合する方法について詳細は、「AWS Glue 5.0 から AWS Glue 5.1 への移行」を参照してください。

AWS Glue Studio では、Glue version で Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 を選択します。

API では、UpdateJob API オペレーションの GlueVersion パラメータで 5.1 を選択します。

コンソールでは、Glue version で Spark 3.5.6, Python 3 (Glue Version 5.1) or Spark 3.5.6, Scala 2 (Glue Version 5.1) を選択します。

AWS Glue Studio では、Glue version で Glue 5.1 - Supports Spark 3.5.6, Scala 2, Python 3 を選択します。

API では、CreateJob API オペレーションの GlueVersion パラメータで 5.1 を選択します。

[Python] boto リファレンスを 1.34 から 1.40 に更新しました。

AWS Glue 5.1 では、S3A ファイルシステムは、EMRFS をデフォルトの S3 コネクタとして置き換えました。spark.hadoop.fs.s3a.endpoint と spark.hadoop.fs.s3a.endpoint.region の両方が設定されていない場合、S3A で使用されるデフォルトのリージョンは us-east-2 です。これにより、特に VPC ジョブの場合、S3 アップロードタイムアウトエラーなどの問題が発生する可能性があります。この変更によって発生する問題を軽減するには、AWS Glue 5.1 で S3A ファイルシステムを使用するときに spark.hadoop.fs.s3a.endpoint.region Spark を設定します。

S3A の代わりに EMRFS を引き続き使用するには、次のスパーク設定を行います。

    --conf spark.hadoop.fs.s3.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.s3n.impl=com.amazon.ws.emr.hadoop.fs.EmrFileSystem
    --conf spark.hadoop.fs.AbstractFileSystem.s3.impl=org.apache.hadoop.fs.s3.EMRFSDelegate
                

Migration Guide: Spark Core

Migration Guide: SQL, Datasets and DataFrame

Migration Guide: Structured Streaming

Upgrading PySpark

AWS Glue 4.0 から AWS Glue 5.0 への移行手順については、「AWS Glue 4.0 から AWS Glue 5.0 への移行」を参照してください。

AWS Glue 3.0 から AWS Glue 5.0 への移行手順については、「AWS Glue 3.0 から AWS Glue 5.0 への移行」を参照してください。

AWS Glue 2.0 から AWS Glue 5.0 への移行手順と、AWS Glue バージョン 2.0 と 4.0 の移行の相違点をまとめたリストについては、「AWS Glue 2.0 から AWS Glue 5.0 への移行」を参照してください。

付録 B: JDBC ドライバーのアップグレード

付録 C: コネクタのアップグレード

付録 D: オープンテーブル形式のアップグレード

Lake Formation 登録済みテーブルでの FTA 読み取りおよび書き込みアクセスをサポートします。

Iceberg 形式バージョン 3 をサポートします。次の機能がサポートされています。

登録済みのテーブルに対する Spark ネイティブの FGAC 書き込みをサポートします。

Athena SQL 互換性 - 次のエラーのため、EMR Spark によって作成された Iceberg V3 テーブルを読み取ることはできません: GENERIC_INTERNAL_ERROR: Cannot read unsupported version 3

Lake Formation 登録済みテーブルでの FTA 読み取りおよび書き込みアクセスをサポートします。