ゼロ ETL 統合のターゲットの設定

ゼロ ETL 統合のターゲットを設定する際には、AWS Glue が提供するいくつかのオプションがあります。ターゲットにできるのは、暗号化された Amazon Redshift データウェアハウスまたは Amazon SageMaker の Lakehouse アーキテクチャです。

ゼロ ETL 統合のターゲットを選択する前に、次のいずれかのターゲットリソースを設定する必要があります。ゼロ ETL 統合のターゲットの設定オプションは次のとおりです。

汎用 S3 バケットターゲットの設定

このセクションでは、Amazon SageMaker の Lakehouse アーキテクチャを使用してゼロ ETL 統合でターゲットのストレージとして汎用 S3 バケットを設定する場合の前提条件とセットアップ手順について説明します。

汎用 S3 ストレージを使用して Amazon SageMaker の Lakehouse アーキテクチャでゼロ ETL 統合を作成する前に、次のセットアップタスクを完了する必要があります。

AWS Glue データベースのセットアップ

Amazon S3 汎用バケットの場所を使用してデータカタログ内でターゲットデータベースをセットアップする方法：

AWS Glue で新しいデータベースを作成する方法については、「データカタログの使用開始」を参照してください。

create-database CLI を使用して AWS Glue にデータベースを作成することもできます。--database-input の LocationUri は必須であることにご注意ください。

Iceberg テーブルの最適化

ターゲットデータベースで AWS Glue によってテーブルが作成されると、圧縮を有効にして Amazon Athena でのクエリを高速化できます。圧縮用のリソース (IAM ロール) の設定については、「テーブル最適化の前提条件」を参照してください。

統合によって作成された AWS Glue テーブルで圧縮を設定する方法の詳細については、「Iceberg テーブルの最適化」を参照してください。

カタログリソースベースアクセス (RBAC) ポリシーの指定

AWS Glue データベースを使用する統合の場合、ソースとターゲット間の統合を許可するには、カタログ RBAC ポリシーに次のアクセス許可を追加します。

[データカタログ] から [カタログの設定] にアクセスできます。次に、次のアクセス許可を指定し、不足している情報を入力します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

ターゲット IAM ロールの作成

以下の許可と信頼関係を持つターゲット IAM ロールを作成します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

AWS Glue サービスがロールを引き受けるには、次の信頼ポリシーを追加します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

ターゲットロール、KMS (オプション）、接続 (オプション) をターゲットリソースに関連付ける

上記のターゲットロールをターゲットリソース、つまり AWS Glue データベースに関連付けます。必要に応じて、ターゲット iceberg テーブルに保存する前にデータを暗号化するための KMS と、S3 バケットにアクセスするための接続 ARN をターゲット AWS Glue データベース用に設定することができます。これにより、AWS Glue は付与されたロールを使用してターゲット S3 の場所でデータにアクセスでき、さらにオプションで、付与された KMS キーを使用して暗号化を行うことができます。特定の VPC を使用してターゲット S3 バケットをアクセス可能に設定した場合、AWS Glue がその VPC 内で処理を実行できるように接続 ARN を関連付けることができます。VPC のセットアップに関する詳細については、「VPC を作成する」を参照してください。

あるいは AWS Glue CLI / API を使用する場合:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(オプション) ターゲットテーブルのプロパティを設定する

オプションで、ターゲットに同期されるターゲットテーブルのためにターゲットテーブルプロパティを設定することができます。

これらの設定は、AWS Glue コンソールの統合作成ワークフローの「出力設定」セクションで設定できます。

[カスタムパーティションキーの指定] を選択すると、パーティションキー、およびそれらの関数と変換仕様を設定できます。

ソースとターゲットが同じアカウントにある場合、この設定は AWS Glue コンソール UI の統合作成ワークフローの一部として実行できます。ただし、ターゲットが別のアカウントにある場合は、統合を作成する前にこの設定を完了する必要があります。CLI または API を使用する場合は、ソースとターゲットの両方が同じアカウントにある場合でも、Create-Integration API を呼び出す前にこの設定を行う必要があります。AWS Glue コンソール UI は、同じアカウントシナリオに対してこの API コールをカプセル化します。

この設定を行わない場合、テーブルの同期時にデフォルト値が使用されます。また、この設定は統合の作成後にいつでも変更できます。

CLI または API の使用:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

汎用の Amazon S3 ストレージで Amazon SageMaker の Lakehouse アーキテクチャを設定したら、ターゲットとの統合の設定 に進んで統合セットアップを完了できます。

Amazon S3 Tables バケットターゲットの設定

このセクションでは、Amazon SageMaker の Lakehouse アーキテクチャを使用して、ゼロ ETL 統合のターゲットとして Amazon S3 Tables を設定するための前提条件とセットアップ手順を説明します。

Amazon S3 Tables をターゲットとするゼロ ETL 統合を作成する前に、次のセットアップタスクを完了する必要があります。

Amazon S3 テーブルバケットのセットアップ (および分析サービス統合)

カタログ RBAC ポリシーを指定する

ソースと Amazon S3 Tables カタログターゲット間の統合を可能にするには、カタログ RBAC ポリシーに次のアクセス許可を追加する必要があります。

ターゲット AWS Glue カタログリソースポリシーには、AuthorizeInboundIntegration に対する AWS Glue サービスアクセス許可を含める必要があります。さらに、CreateInboundIntegration アクセス許可が、統合を作成するソースプリンシパルまたはターゲット AWS Glue リソースポリシーで必要になります。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

ターゲット IAM ロールを作成する

以下の許可と信頼関係を持つターゲット IAM ロールを作成します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

AWS Glue サービスがターゲット IAM ロールを引き受けることができるようにするには、次の信頼ポリシーを追加します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

ターゲットロール、KMS (オプション）、接続 (オプション) をターゲットリソースに関連付ける

上記のターゲットロールをターゲットリソースに関連付けます。必要に応じて、ターゲット iceberg テーブルに保存する前にデータを暗号化するための KMS と、ターゲット S3 バケットにアクセスするための接続 ARN を設定することができます。特定の VPC を使用してターゲット S3 バケットをアクセス可能に設定した場合、AWS Glue がその VPC 内で処理を実行できるように接続 ARN を関連付けることができます。VPC のセットアップに関する詳細については、「VPC を作成する」を参照してください。

AWS Glue CLI / API を使用する場合:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(オプション) ターゲットテーブルのプロパティを設定する

オプションで、ターゲットに同期されるターゲットテーブルのためにターゲットテーブルプロパティを設定することができます。汎用 S3 ターゲットセクションで説明されているルールと同じものが適用されます。

CLI または API を使用する場合:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Amazon SageMaker の Lakehouse アーキテクチャを使用して Amazon S3 Tables ストレージを設定したら、ターゲットとの統合の設定 に進んで統合セットアップを完了できます。

Amazon Redshift マネージドストレージターゲットの設定

このセクションでは、Amazon SageMaker の Lakehouse アーキテクチャを使用して、ゼロ ETL 統合のターゲットとして Amazon Redshift マネージドストレージ (RMS) を設定するための前提条件とセットアップ手順を説明します。

Redshift マネージドストレージを使用して Amazon SageMaker の Lakehouse アーキテクチャでゼロ ETL 統合を作成する前に、次のセットアップタスクを完了する必要があります。

Amazon Redshift マネージドストレージのセットアップ

ゼロ ETL 統合用の Amazon Redshift マネージドストレージのセットアップをするには、以下を行います。

Amazon Redshift マネージドストレージを使用して Amazon SageMaker Lakehouse カタログを設定したら、ターゲットとの統合の設定 に進んで統合セットアップを完了できます。

Amazon Redshift データウェアハウスターゲットの設定

このセクションでは、ゼロ ETL 統合のターゲットとして Amazon Redshift データウェアハウスを設定するための前提条件とセットアップ手順について説明します。

Amazon Redshift データウェアハウスターゲットとのゼロ ETL 統合を作成する前に、次のセットアップタスクを完了する必要があります。

Amazon Redshift データウェアハウスのセットアップ

ゼロ ETL 統合用の Amazon Redshift データウェアハウスを設定するには、次を行います。

Amazon Redshift データウェアハウスを設定したら、ターゲットとの統合の設定 に進み、統合セットアップを完了できます。

ターゲットとの統合の設定

ソースリソースとターゲットリソースを設定したら、以下の手順に従って統合設定を完了します。

API または CLI 経由で統合を作成するには、CreateIntegration API を使用します。