メタデータを S3 Tables にエクスポートする (プレビュー)

概要

AWS Glue Data Catalog メタデータは、Amazon S3 Tables に保存されているマネージドカタログシステムテーブルにエクスポートできます。S3 Tables のエクスポートを有効にすると、技術メタデータとビジネスメタデータが AWS マネージド aws-catalog テーブルバケットの読み取り専用 Apache Iceberg テーブルに保存されて、Amazon Redshift や Amazon EMR といった AWS 分析サービスで、SQL を使用してクエリできるようになります。

aws-catalog テーブルバケット内では、システムテーブルは次の名前空間の中に保存されます。

現在、次のシステムテーブルがサポートされています。

各テーブルの完全な列レベルのスキーマについては「カタログシステムテーブルのリファレンス」を参照してください。

カタログメタデータのエクスポートの仕組み

エクスポートを有効にすると、データカタログは既存のカタログメタデータのバックフィルを 1 回だけ実行します。その後、システムテーブルは変更を加えるたびに最新状態に保たれます。新たに書き込まれたり更新されたりしたメタデータは、通常 5 分程度でシステムテーブルに反映されます。

システムテーブルは、aws-catalog テーブルバケット内の glue と catalog_metadata の名前空間に保存されます。特定のシステムテーブルは、その種のメタデータがお使いのカタログに初めて保存されたときに表示されます。例えば、エクスポートを有効にし、お使いのカタログに含まれているのがテーブルとデータベースのみだった場合、そのテーブルに関連するシステムテーブルのみが表示されます。用語集のシステムテーブルは、最初の用語集を作成した後に表示されます。

AWS CLI を使用してカタログメタデータのエクスポートを有効にする

カタログメタデータのエクスポートは、アカウントレベルの設定となります。AWS CLI を使って有効または無効にできます。

前提条件

使用する IAM ID には、エクスポート設定のオペレーションである glue:PutDataCatalogExportConfiguration、glue:GetDataCatalogExportConfiguration、ならびに s3tables:CreateTable を呼び出すアクセス許可が必要になります。S3 Tables のアクセス許可の詳細については、「Amazon Simple Storage Service ユーザーガイド」の「Amazon S3 テーブルの作成」を参照してください。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "glue:PutDataCatalogExportConfiguration",
                "glue:GetDataCatalogExportConfiguration"
            ],
            "Resource": "*"
        }
    ]
}

データカタログメタデータを含む S3 Tables 内のすべてのデータは、デフォルトで SSE-S3 暗号化により暗号化されます。カタログエクスポートを AWS KMS キー (SSE-KMS) を使って暗号化することを選択できます。AWS KMS キーで暗号化する場合は、次の手順を実行して追加のアクセス許可を取得する必要があります。

データカタログエクスポートサービスプリンシパルと S3 Tables メンテナンスサービスプリンシパルに KMS キー (キーポリシー) を使用するアクセス許可を付与

AWS Glue に、暗号化されたカタログメタデータのエクスポートを許可し、エクスポートされたテーブルで、圧縮や、参照されていないファイルの削除といった自動テーブルメンテナンスを許可するときは、次のサービスプリンシパルに KMS キーへのアクセスを許可する必要があります。

AWS Glue は、aws-catalog という名前の AWS マネージドテーブルバケットに書き込みします。S3 Tables エクスポートの暗号化に使用する KMS キーは、保管中のデータカタログの暗号化に使用するものと同じである必要はありません。AWS Glue は対称の KMS キーのみをサポートしています。これらのサービスプリンシパルにアクセス権を付与するときは、次のキーポリシーの例を使用できます。このポリシーでは、maintenance.s3tables.amazonaws.com サービスプリンシパルに対して、aws-catalog テーブルバケット内のテーブルを暗号化および復号するための、特定の KMS キーを使用するアクセス許可が付与されます。S3 Tables メンテナンスサービスプリンシパルの詳細については「Amazon Simple Storage Service ユーザーガイド」の「S3 Tables の SSE-KMS 暗号化のアクセス許可要件」を参照してください。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowSystemTablesDescribeKey",
            "Effect": "Allow",
            "Principal": {
                "Service": "systemtables.catalog.amazonaws.com"
            },
            "Action": [
                "kms:DescribeKey"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                }
            }
        },
        {
            "Sid": "AllowSystemTablesEncryptDecrypt",
            "Effect": "Allow",
            "Principal": {
                "Service": "systemtables.catalog.amazonaws.com"
            },
            "Action": [
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                },
                "StringLike": {
                    "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3tables:us-east-1:123456789012:bucket/aws-catalog/table/*",
                    "kms:ViaService": "s3.us-east-1.amazonaws.com"
                }
            }
        },
        {
            "Sid": "AllowS3TablesMaintenanceEncryptDecrypt",
            "Effect": "Allow",
            "Principal": {
                "Service": "maintenance.s3tables.amazonaws.com"
            },
            "Action": [
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                },
                "StringLike": {
                    "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3tables:us-east-1:123456789012:bucket/aws-catalog/*"
                }
            }
        }
    ]
}

エクスポートを行うプリンシパルに必要な IAM アクセス許可

エクスポートを実行するプリンシパルに次のアクセス許可を付与します。次のポリシーは、glue_catalog_id 暗号化コンテキスト (値はユーザーの catalogId) により範囲指定された特定の AWS Glue Data Catalog を復号するためのアクセス権を IAM プリンシパルに付与します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowDescribeKey",
            "Effect": "Allow",
            "Action": [
                "kms:DescribeKey"
            ],
            "Resource": "arn:aws:kms:us-east-1:123456789012:key/1234abcd-12ab-34cd-56ef-1234567890ab",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                }
            }
        },
        {
            "Sid": "AllowExportOfGlueDataCatalogByCatalogId",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:GenerateDataKey"
            ],
            "Resource": "arn:aws:kms:us-east-1:123456789012:key/1234abcd-12ab-34cd-56ef-1234567890ab",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012",
                    "kms:EncryptionContext:glue_catalog_id": "123456789012"
                }
            }
        }
    ]
}

カタログメタデータのエクスポートを有効にするには

カタログメタデータのエクスポートを無効にするには

次のコマンドを実行します。

aws glue put-data-catalog-export-configuration \
    --export-setting DISABLED

カタログシステムテーブルのリファレンス

すべてのシステムテーブルは、aws-catalog テーブルバケット内の glue と catalog_metadata の名前空間に保存されます。すべてのテーブルに次のシステム列が含まれています。

テーブル

カタログテーブルにつき 1 行ずつ含まれます。

table_columns

カタログテーブルの列ごとに 1 行含まれます。

attachments

アセットレベルのカスタムフォームアタッチメントが含まれます (アセットのアタッチメントごとに 1 行)。

item_attachments

個々の列など反復可能なフォーム内の項目に対するアタッチメントが含まれます。

用語集

用語集ごとに 1 行含まれます。

glossary_terms

用語ごとに 1 行含まれます。

associated_glossary_terms

用語集用語とアセット間の関連付けごとに 1 行含まれます。

カタログシステムのテーブルへのクエリ

S3 Tables にエクスポートされたカタログメタデータを、Amazon EMR などの AWS 分析サービスを使用してクエリするときは、事前に AWS マネージド aws-catalog テーブルバケットで分析統合を有効にし、AWS Lake Formation アクセス許可を設定する必要があります。

前提条件

インテグレーションの概要

S3 Tables と AWS 分析サービスとの統合の詳細 (前提条件、IAM ロール設定、ステップバイステップの手順ほか) については、「Amazon Simple Storage Service ユーザーガイド」の「Amazon S3 Tables と AWS 分析サービスの統合」を参照してください。

S3 Tables のエクスポートを有効にして分析統合を設定すると、Amazon Redshift、Amazon EMR などの AWS 分析サービスを使用してデータカタログのメタデータをクエリできるようになります。これで、標準 SQL を使用してメタデータの監査と分析を実行できます。

クエリの例

すべてのカタログテーブルをデータベースおよび形式とともに一覧表示する

SELECT id, name, database_name, table_format
FROM aws_catalog.glue.tables;

特定のテーブルの説明を含む列を検索する

SELECT column_name, type, description
FROM aws_catalog.glue.table_columns
WHERE asset_id = 'table-id';

用語集の用語を親用語集に結合する

SELECT g.name AS glossary_name,
       t.name AS term_name,
       t.short_description
FROM aws_catalog.catalog_metadata.glossary_terms t
JOIN aws_catalog.catalog_metadata.glossaries g
    ON t.glossary_id = g.id
WHERE g.status = 'ENABLED';

特定の用語集の用語に関連付けられたテーブルを検索する

SELECT t.name, t.database_name, gt.name AS term_name
FROM aws_catalog.glue.tables t
JOIN aws_catalog.catalog_metadata.associated_glossary_terms agt
    ON agt.asset_id = t.id
JOIN aws_catalog.catalog_metadata.glossary_terms gt
    ON gt.id = agt.glossary_term_id
WHERE gt.name = 'term-name';

カスタムフォームアタッチメントからフィールドを抽出する

SELECT asset_id,
       attachment_name,
       json_extract_scalar(content_json, '$.owner') AS data_owner
FROM aws_catalog.catalog_metadata.attachments
WHERE form_type_id = 'your-form-type-id';