제로 ETL 통합 대상 구성

제로 ETL 통합을 위해 대상을 구성할 때 AWS에서 제공하는 몇 가지 옵션이 있습니다. 대상은 암호화된 Amazon Redshift 데이터 웨어하우스 또는 Amazon SageMaker Lakehouse 카탈로그일 수 있습니다.

제로 ETL 통합의 대상을 선택하기 전에 다음 대상 리소스 중 하나를 구성해야 합니다.

제로 ETL 통합의 대상에 대한 구성 옵션은 다음을 포함합니다.

일반 S3 스토리지를 사용한 Amazon SageMaker Lakehouse 카탈로그 구성

이 섹션에서는 제로 ETL 통합에서 Amazon SageMaker Lakehouse 카탈로그 대상의 스토리지로 일반 Amazon S3 버킷을 구성하는 데 필요한 사전 조건과 설정 단계에 대해 설명합니다.

통합 설정을 위한 사전 조건

일반 S3 스토리지를 사용하여 Amazon SageMaker Lakehouse 카탈로그와 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

일반 Amazon S3 스토리지로 Amazon SageMaker Lakehouse 카탈로그를 구성한 후 대상과의 통합 구성(으)로 이동하여 통합 설정을 완료할 수 있습니다.

Amazon S3 Tables를 대상으로 구성

이 섹션에서는 제로 ETL 통합을 위한 대상으로 Amazon S3 Tables를 구성하는 데 필요한 사전 조건과 설정 단계에 대해 설명합니다.

통합 설정을 위한 사전 조건

Amazon S3 Tables를 대상으로 하는 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

Amazon S3 Tables 버킷 설정

카탈로그 RBAC 정책 제공

소스와 Amazon S3 Tables 카탈로그 대상 간의 통합을 허용하려면 카탈로그 RBAC 정책에 다음 권한을 추가해야 합니다.

대상 AWS Glue 카탈로그 리소스 정책에는 AuthorizeInboundIntegration에 대한 Glue 서비스 권한이 포함되어야 합니다. 또한 통합을 생성하는 소스 보안 주체나 대상 AWS Glue 리소스 정책에는 CreateInboundIntegration 권한이 필요합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
    // Optional for same account but mandatory for cross account scenarios
    // Allow Alice to create Integration on Target Catalog
      "Principal": {
        "AWS": [
          "arn:aws:iam::<source-account-id>:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<Target-Account-Id>:catalog/<s3tablescatalog>/*"
      ],
      "Condition": {
        "StringLike": {
          "aws:SourceArn": "arn:aws:dynamodb:<region>:<Account>:table/<table-name>"
        }
      }
    },
    { // Required: Allow Glue to Authorize the Inbound Integration on behalf of Bob
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<Target-Account-Id>:catalog/<s3tablescatalog>/*"
      ],
      "Condition": {
        "StringEquals": {
          "aws:SourceArn": "arn:aws:dynamodb:<region>:<account-id>:table/<table-name>"
        }
      }
    }
  ]
}

대상 IAM 역할 생성

다음과 같은 권한 및 신뢰 관계를 가진 대상 IAM 역할을 생성합니다.

IAM 정책 예제:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3tables:ListTableBuckets",
                "s3tables:GetTableBucket",
                "s3tables:GetTableBucketEncryption",
                "s3tables:GetNamespace",
                "s3tables:CreateNamespace",
                "s3tables:ListNamespaces",
                "s3tables:CreateTable",
                "s3tables:GetTable",
                "s3tables:GetTableEncryption",
                "s3tables:ListTables",
                "s3tables:GetTableMetadataLocation",
                "s3tables:UpdateTableMetadataLocation",
                "s3tables:GetTableData",
                "s3tables:PutTableData"
            ],
            "Resource": "arn:aws:s3tables:<region>:<account-id>:bucket/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

대상 IAM 역할에 다음 신뢰 정책을 추가하여 AWS Glue 서비스가 역할을 수임할 수 있도록 허용합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Amazon Redshift 관리형 스토리지로 Amazon SageMaker Lakehouse 카탈로그 구성

이 섹션에서는 Amazon Redshift 관리형 스토리지(RMS)를 제로 ETL 통합의 대상으로 사용하여 Amazon SageMaker Lakehouse 카탈로그를 구성하기 위한 사전 조건 및 설정 단계에 대해 설명합니다.

통합 설정을 위한 사전 조건

Redshift 관리형 스토리지를 사용하여 Amazon SageMaker Lakehouse 카탈로그와의 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

Amazon Redshift 관리형 스토리지 설정

제로 ETL 통합을 위한 Amazon Redshift 관리형 스토리지를 설정하려면 다음 단계를 따르세요.

Amazon Redshift 관리형 스토리지로 Amazon SageMaker Lakehouse 카탈로그를 구성한 후 대상과의 통합 구성(으)로 이동하여 통합 설정을 완료할 수 있습니다.

Amazon Redshift 데이터 웨어하우스 대상 구성

이 섹션에서는 제로 ETL 통합을 위한 대상으로 Amazon Redshift 데이터 웨어하우스를 구성하는 데 필요한 사전 조건과 설정 단계에 대해 설명합니다.

통합 설정을 위한 사전 조건

Amazon Redshift 데이터 웨어하우스 대상과 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

Amazon Redshift 데이터 웨어하우스 설정

제로 ETL 통합을 위한 Amazon Redshift 데이터 웨어하우스를 설정하려면 다음 단계를 따르세요.

Amazon Redshift 데이터 웨어하우스를 구성한 후 대상과의 통합 구성(으)로 이동하여 통합 설정을 완료할 수 있습니다.

대상과의 통합 구성

대상 리소스를 구성하고, 연결을 선택하고, 소스 IAM 역할을 지정한 후, 다음 단계에 따라 통합 설정을 완료합니다.