AWS Lake Formation で AWS Glue を使用したフルテーブルアクセス

フルテーブルアクセスの概要

AWS Glue 5.0 は、AWS Lake Formation で定義されたポリシーに基づいて、Apache Spark でのフルテーブルアクセス (FTA) コントロールをサポートします。この機能により、ジョブロールにフルテーブルアクセスがある場合は、AWS Glue Spark ジョブからの AWS Lake Formation 登録済みテーブルに対する読み取りおよび書き込み操作が有効になります。FTA は、テーブルレベルでセキュリティ規制に準拠する必要があるユースケースに最適です。また、障害耐性分散データセット (RDD)、カスタムライブラリ、AWS Lake Formation テーブルを含むユーザー定義関数 (UDF) などの Spark 機能をサポートしています。

AWS Glue Spark ジョブがフルテーブルアクセス (FTA) に対応するように設定されている場合、AWS Lake Formation 認証情報は AWS Lake Formation 登録済みテーブルの Amazon S3 データの読み取り/書き込みに使用され、ジョブのランタイムロール認証情報は AWS Lake Formation に登録されていないテーブルの読み取り/書き込みに使用されます。この機能を使用すると、Apache Hive テーブルと Iceberg テーブルで CREATE、ALTER、DELETE、UPDATE、MERGE INTO ステートメントを含むデータ操作言語 (DML) 操作が可能になります。

AWS Glue でのフルテーブルアクセス (FTA) の仕組み

AWS Lake Formation には、きめ細かなアクセスコントロール (FGAC) とフルテーブルアクセス (FTA) の 2 つのデータアクセスコントロールアプローチがあります。FGAC は、列、行、セルレベルのフィルタリングを通じてセキュリティを強化するため、きめ細かなアクセス許可を必要とするシナリオに最適です。FTA は、テーブルレベルのアクセス許可が必要となる簡単なアクセスコントロールシナリオに最適です。これにより、きめ細かなアクセスモードを有効にする必要がなくなり、システムドライバーとシステムエグゼキュターを回避することでパフォーマンスを向上させ、コストを削減できます。また、読み取りと書き込み操作 (CREATE、ALTER、DELETE、UPDATE、MERGE INTO コマンドを含む) の両方がサポートされます。

AWS Glue 4.0 では、AWS Lake Formation ベースのデータアクセスは、AWS Glue によって提供されるユーティリティクラスである GlueContext クラスを通じて機能していました。AWS Glue 5.0 では、AWS Lake Formation ベースのデータアクセスはネイティブ Spark SQL、Spark DataFrames を通じて利用でき、GlueContext クラスを通じて引き続きサポートされます。

フルテーブルアクセスの実装

ステップ 1: AWS Lake Formation でフルテーブルアクセスを有効にする

フルテーブルアクセス (FTA) モードを使用するには、AWS Lake Formation で IAM セッションタグの検証を行わずに、サードパーティーのクエリエンジンがデータにアクセスすることを許可する必要があります。有効にするには、「フルテーブルアクセスのためのアプリケーション統合」のステップに従います。

ステップ 2: ジョブランタイムロールの IAM アクセス許可を設定する

基盤となるデータへの読み取りまたは書き込みアクセスには、AWS Lake Formation アクセス許可に加えて、ジョブランタイムロールに lakeformation:GetDataAccess IAM アクセス許可が必要です。このアクセス許可よって、AWS Lake Formation がデータにアクセスするための一時的な認証情報のリクエストを承諾します。

以下は、Amazon S3 のスクリプトにアクセスするための IAM アクセス許可、Amazon S3 へのログのアップロード、AWS Glue API アクセス許可、AWS Lake Formation へのアクセス許可を指定する方法のポリシー例です。

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/scripts/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartition",
        "glue:GetPartitions",
        "glue:CreateTable",
        "glue:UpdateTable"
      ],
      "Resource": [
        "arn:aws:glue:us-east-1:111122223333:catalog",
        "arn:aws:glue:us-east-1:111122223333:database/default",
        "arn:aws:glue:us-east-1:111122223333:table/default/*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": "*"
    }
  ]
}

ステップ 2.1: AWS Lake Formation アクセス許可を設定する

Amazon S3 からデータを読み取る AWS Glue Spark ジョブには、AWS Lake Formation SELECT アクセス許可が必要です。

Amazon S3 でデータを書き込み/削除する AWS Glue Spark ジョブには、AWS Lake Formation ALL アクセス許可が必要です。

AWS Glue データカタログを操作する AWS Glue Spark ジョブには、必要に応じて DESCRIBE、ALTER、DROP アクセス許可が必要です。

ステップ 3: AWS Lake Formation を使用してフルテーブルアクセスのための Spark セッションを初期化する

AWS Lake Formation に登録されたテーブルにアクセスするには、Spark の初期化中に以下の設定を行い、AWS Lake Formation 認証情報を使用するように Spark を設定する必要があります。

AWS Lake Formation に登録されているテーブルにアクセスするには、AWS Lake Formation 認証情報を使用するように Spark セッションを明示的に設定する必要があります。Spark セッションを初期化する際に、次の設定を追加します。

from pyspark.sql import SparkSession
        
# Initialize Spark session with Lake Formation configurations
spark = SparkSession.builder \
    .appName("Lake Formation Full Table Access") \
    .config("spark.sql.catalog.glue_catalog", "org.apache.spark.sql.catalog.hive.GlueCatalog") \
    .config("spark.sql.catalog.glue_catalog.glue.lakeformation-enabled", "true") \
    .config("spark.sql.defaultCatalog", "glue_catalog") \
    .getOrCreate()

設定キー:

[Hive]

‐‐conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
        

Iceberg

--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.<catalog>.AWS Glue.lakeformation-enabled=true
        

使用パターン

DataFrames での FTA の使用

Spark に精通しているユーザーは、DataFrames を AWS Lake Formation フルテーブルアクセスで使用できます。

AWS Glue 5.0 では、Lake Formation フルテーブルアクセスのネイティブ Spark サポートが追加されており、保護されたテーブルの操作方法が簡素化されています。この機能により、フルテーブルアクセスが付与されると AWS Glue 5.0 AWS Glue Spark ジョブはデータを直接読み書きできるため、以前にあった特定の抽出、変換、ロード (ETL) 操作の制限がなくなります。障害耐性分散データセット (RDD)、カスタムライブラリ、ユーザー定義関数 (UDF) などの高度な Spark 機能を AWS Lake Formation テーブルで活用できるようになりました。

AWS Glue 5.0 のネイティブ Spark FTA

AWS Glue 5.0 は、AWS Lake Formation で定義されたポリシーに基づいて、Apache Spark でのフルテーブルアクセス (FTA) コントロールをサポートします。このレベルのコントロールは、テーブルレベルでセキュリティ規制に準拠する必要があるユースケースに最適です。

Apache Iceberg テーブルの例

from pyspark.sql import SparkSession

catalog_name = "spark_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = SparkSession.builder \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkSessionCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}") \
    .config(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.account-id",f"{aws_account_id}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true") \
    .config(f"spark.sql.catalog.dropDirectoryBeforeTable.enabled", "true") \
    .config(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO") \
    .config("spark.sql.defaultCatalog", catalog_name) \  # Add this line
    .getOrCreate()

database_name = "your_database"
table_name = "your_table"

df = spark.sql(f"select * from {database_name}.{table_name}")
df.show()

必要な IAM アクセス許可

AWS Glue ジョブ実行ロールには、以下が必要です。

{
    "Action": "lakeformation:GetDataAccess",
    "Resource": "*",
    "Effect": "Allow"
}

さらに、データロケーションに対する適切な S3 アクセス許可。

Lake Formation の設定

AWS Glue 5.0 でネイティブ Spark FTA を使用する前に:

DynamicFrames での FTA の使用

AWS Glue のネイティブ DynamicFrames は、ETL 操作を最適化するために AWS Lake Formation フルテーブルアクセスで使用できます。フルテーブルアクセス (FTA) は、テーブルレベルでアクセス許可を付与するセキュリティモデルを提供します。これにより、行および列レベルのアクセス許可チェックのオーバーヘッドを回避できるため、きめ細かなアクセスコントロール (FGAC) と比較してデータ処理が高速化されます。このアプローチは、セキュリティ要件を満たすテーブル全体とテーブルレベルのアクセス許可を処理する必要がある場合に役立ちます。

AWS Glue 4.0 では、FTA を使用する DynamicFrames では特定の GlueContext 設定が必要でした。FTA を使用する既存の AWS Glue 4.0 DynamicFrame コードは AWS Glue 5.0 でも引き続き動作しますが、新しいバージョンではネイティブ Spark FTA サポートも提供され、柔軟性が向上しています。新規の開発で、特に、障害耐性分散データセット (RDD)、カスタムライブラリ、AWS Lake Formation テーブルを含むユーザー定義関数 (UDF) などの追加機能が必要になる場合は、DataFrames セクションで説明されているネイティブの Spark アプローチを使用することを検討してください。

必要な許可

Glue ジョブを実行する IAM ロールには次のものが必要です。

AWS Glue 5.0 での DynamicFrame 実装例

from awsglue.context import GlueContext
from pyspark.context import SparkContext

# Initialize Glue context
sc = SparkContext()
glueContext = GlueContext(sc)

# Configure catalog for Iceberg tables
catalog_name = "glue_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = glueContext.spark_session
spark.conf.set(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.id", f"{aws_account_id}")

# Read Lake Formation-protected table with DynamicFrame
df = glueContext.create_data_frame.from_catalog(
    database="your_database",
    table_name="your_table"
)

追加設定

AWS Glue Studio ノートブックでフルテーブルアクセスモードを設定する

AWS Glue Studio ノートブックのインタラクティブ Spark セッションから AWS Lake Formation に登録されたテーブルにアクセスするには、互換性アクセス許可モードを使用する必要があります。インタラクティブセッションを開始する前に、%%configure マジックコマンドを使用して Spark 設定をセットアップします。この設定は、セッション開始後に適用できないため、ノートブックの最初のコマンドである必要があります。次のテーブルタイプに基づいて設定を選択します。

Hive テーブルの場合

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true

Iceberg テーブルの場合

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.glue_catalog.glue.lakeformation-enabled=true
--conf spark.sql.catalog.glue_catalog.warehouse=s3://example-s3-bucket_DATA_LOCATION
--conf spark.sql.catalog.glue_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog
--conf spark.sql.catalog.glue_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO
--conf spark.sql.catalog.glue_catalog.glue.account-id=ACCOUNT_ID
--conf spark.sql.catalog.glue_catalog.glue.region=REGION

プレースホルダーを置き換えます:

サポートされているオペレーション

これらの操作では、AWS Lake Formation 認証情報を使用してテーブルデータにアクセスします。

AWS Glue 4.0 から AWS Glue 5.0 FTA への移行

AWS Glue 4.0 GlueContext FTA から AWS Glue 5.0 ネイティブ Spark FTA に移行する場合:

考慮事項と制約事項