제로 ETL 통합의 대상 구성

제로 ETL 통합을 위해 대상을 구성할 때 AWS Glue에서 제공하는 몇 가지 옵션이 있습니다. 대상은 암호화된 Amazon Redshift 데이터 웨어하우스 또는 Amazon SageMaker의 Lakehouse 아키텍처일 수 있습니다.

제로 ETL 통합의 대상을 선택하기 전에 다음 대상 리소스 중 하나를 구성해야 합니다. 제로 ETL 통합의 대상에 대한 구성 옵션은 다음을 포함합니다.

범용 S3 버킷 대상 구성

이 섹션에서는 Amazon SageMaker의 Lakehouse 아키텍처를 사용하여 제로 ETL 통합에서 대상의 스토리지로 범용 S3 버킷을 구성하는 데 필요한 사전 조건과 설정 단계에 대해 설명합니다.

범용 S3 스토리지를 사용하여 Amazon SageMaker의 Lakehouse 카탈로그와의 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

AWS Glue 데이터베이스 설정

Amazon S3 범용 버킷 위치를 사용하여 Data Catalog에서 대상 데이터베이스를 설정하려면 다음을 수행합니다.

AWS Glue에서 새 데이터베이스를 생성하는 방법에 대한 자세한 내용은 Data Catalog 시작하기를 참조하세요.

create-database CLI를 사용하여 AWS Glue에서 데이터베이스를 생성할 수도 있습니다. --database-input의 LocationUri는 필수입니다.

Iceberg 테이블 최적화

대상 데이터베이스에서 AWS Glue에 의해 테이블이 생성된 후 압축을 활성화하여 Amazon Athena에서 쿼리 속도를 높일 수 있습니다. 압축을 위한 리소스(IAM 역할) 설정에 대한 자세한 내용은 테이블 최적화 필수 조건을 참조하세요.

통합에 의해 생성된 AWS Glue 테이블에서 압축을 설정하는 방법에 대한 자세한 내용은 Iceberg 테이블 최적화를 참조하세요.

카탈로그 리소스 기반 액세스(RBAC) 정책 제공

AWS Glue 데이터베이스를 사용하는 통합의 경우 카탈로그 RBAC 정책에 다음 권한을 추가하여 소스와 대상 간의 통합을 허용합니다.

Data Catalog에서 카탈로그 설정에 액세스할 수 있습니다. 계속해서 다음 권한을 제공하고 누락된 정보를 입력합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

대상 IAM 역할 생성

다음과 같은 권한 및 신뢰 관계를 가진 대상 IAM 역할을 생성합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

AWS Glue 서비스가 역할을 수임할 수 있도록 다음 신뢰 정책을 추가합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

대상 역할, KMS(선택 사항), 연결(선택 사항)을 대상 리소스와 연결

위의 대상 역할을 대상 리소스, 즉 AWS Glue 데이터베이스와 연결합니다. 원하는 경우 대상 Iceberg 테이블에 저장하기 전에 데이터를 암호화하기 위한 KMS와 S3 버킷에 액세스하기 위한 연결 ARN을 대상 AWS Glue 데이터베이스에 대해 구성할 수 있습니다. 이렇게 하면 AWS Glue가 제공된 역할을 사용하여 대상 S3 위치의 데이터에 액세스하고 제공된 KMS 키를 사용하여 원하는 경우 암호화할 수 있습니다. 특정 VPC를 사용하여 대상 S3 버킷에 액세스할 수 있도록 구성된 경우 연결 ARN을 연결하여 AWS Glue가 해당 VPC 내에서 처리를 실행하도록 허용할 수 있습니다. VPC 설정에 대한 자세한 내용은 VPC 생성을 참조하세요.

또는 AWS Glue CLI/API 사용:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(선택 사항) 대상 테이블 속성 구성

원하는 경우 대상에 동기화될 대상 테이블의 대상 테이블 속성을 구성할 수 있습니다.

AWS Glue 콘솔에서 통합 생성 워크플로의 출력 설정 섹션에서 이러한 설정을 구성할 수 있습니다.

사용자 지정 파티션 키 지정을 선택하면 파티션 키와 해당 함수 및 변환 사양을 구성할 수 있습니다.

소스와 대상이 동일한 계정에 있는 경우 AWS Glue 콘솔 UI에서 통합 생성 워크플로의 일부로 이 구성을 수행할 수 있습니다. 그러나 대상이 다른 계정에 있는 경우 통합을 생성하기 전에 이 구성을 완료해야 합니다. CLI 또는 API를 사용하는 경우 소스와 대상이 모두 동일한 계정에 있더라도 Create-Integration API를 간접적으로 호출하기 전에 이 작업을 수행해야 합니다. AWS Glue 콘솔 UI는 동일한 계정 시나리오의 경우 이 API 직접 호출을 캡슐화합니다.

이것이 구성되지 않으면 테이블을 동기화할 때 기본값이 사용됩니다. 통합 생성 후 언제든지 이 구성을 변경할 수도 있습니다.

CLI 또는 API 사용:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

범용 Amazon S3 버킷 스토리지로 Amazon SageMaker의 Lakehouse 아키텍처를 구성한 후 대상과의 통합 구성으로 이동하여 통합 설정을 완료할 수 있습니다.

Amazon S3 Tables 버킷 대상 구성

이 섹션에서는 Amazon SageMaker의 Lakehouse 아키텍처를 사용하여 제로 ETL 통합의 대상으로 Amazon S3 Tables를 구성하는 데 필요한 사전 조건과 설정 단계에 대해 설명합니다.

Amazon S3 Tables를 대상으로 하는 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

Amazon S3 Tables 버킷 설정(분석 서비스 통합 포함)

카탈로그 RBAC 정책 제공

소스와 Amazon S3 Tables 카탈로그 대상 간의 통합을 허용하려면 카탈로그 RBAC 정책에 다음 권한을 추가해야 합니다.

대상 AWS Glue 카탈로그 리소스 정책에는 AuthorizeInboundIntegration에 대한 AWS Glue 서비스 권한이 포함되어야 합니다. 또한 통합을 생성하는 소스 보안 주체나 대상 AWS Glue 리소스 정책에는 CreateInboundIntegration 권한이 필요합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

대상 IAM 역할 생성

다음과 같은 권한 및 신뢰 관계를 가진 대상 IAM 역할을 생성합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

대상 IAM 역할에 다음 신뢰 정책을 추가하여 AWS Glue 서비스가 역할을 수임할 수 있도록 허용합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

대상 역할, KMS(선택 사항), 연결(선택 사항)을 대상 리소스와 연결

위의 대상 역할을 대상 리소스와 연결합니다. 원하는 경우 대상 Iceberg 테이블에 저장하기 전에 데이터를 암호화하기 위한 KMS와 대상 S3 버킷에 액세스하기 위한 연결 ARN을 구성할 수 있습니다. 특정 VPC를 사용하여 대상 S3 버킷에 액세스할 수 있도록 구성된 경우 연결 ARN을 연결하여 AWS Glue가 해당 VPC 내에서 처리를 실행하도록 허용할 수 있습니다. VPC 설정에 대한 자세한 내용은 VPC 생성을 참조하세요.

AWS Glue CLI/API 사용:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(선택 사항) 대상 테이블 속성 구성

원하는 경우 대상에 동기화될 대상 테이블의 대상 테이블 속성을 구성할 수 있습니다. 범용 S3 대상 섹션에 설명된 것과 동일한 규칙이 적용됩니다.

CLI 또는 API 사용:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Amazon SageMaker의 Lakehouse 아키텍처를 사용하여 Amazon S3 Tables 스토리지를 구성한 후 대상과의 통합 구성으로 이동하여 통합 설정을 완료할 수 있습니다.

Amazon Redshift 관리형 스토리지 대상 구성

이 섹션에서는 Amazon SageMaker의 Lakehouse 아키텍처를 사용하여 Amazon Redshift 관리형 스토리지(RMS)를 제로 ETL 통합의 대상으로 구성하기 위한 사전 조건 및 설정 단계에 대해 설명합니다.

Redshift 관리형 스토리지를 사용하여 Amazon SageMaker의 Lakehouse 아키텍처와의 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

Amazon Redshift 관리형 스토리지 설정

제로 ETL 통합을 위한 Amazon Redshift 관리형 스토리지를 설정하려면 다음을 수행합니다.

Amazon Redshift 관리형 스토리지로 Amazon SageMaker Lakehouse 카탈로그를 구성한 후 대상과의 통합 구성으로 이동하여 통합 설정을 완료할 수 있습니다.

Amazon Redshift 데이터 웨어하우스 대상 구성

이 섹션에서는 제로 ETL 통합을 위한 대상으로 Amazon Redshift 데이터 웨어하우스를 구성하는 데 필요한 사전 조건과 설정 단계에 대해 설명합니다.

Amazon Redshift 데이터 웨어하우스 대상과 제로 ETL 통합을 생성하기 전에 다음 설정 작업을 완료해야 합니다.

Amazon Redshift 데이터 웨어하우스 설정

제로 ETL 통합을 위한 Amazon Redshift 데이터 웨어하우스를 설정하려면 다음 단계를 따르세요.

Amazon Redshift 데이터 웨어하우스를 구성한 후 대상과의 통합 구성(으)로 이동하여 통합 설정을 완료할 수 있습니다.

대상과의 통합 구성

소스 리소스와 대상 리소스를 구성한 후 다음 단계에 따라 통합 설정을 완료합니다.

API 또는 CLI를 통해 통합을 생성하려면 CreateIntegration API를 사용합니다.