AWS 분석 서비스와 Amazon S3 Tables 통합

1. https://console.aws.amazon.com/s3/에서 S3 콘솔을 엽니다.

2. 왼쪽 탐색 창에서 테이블 버킷을 선택합니다.

3. 테이블 버킷 생성을 선택합니다.

   테이블 버킷 생성 페이지가 열립니다.

4. 테이블 버킷 이름을 입력하고 통합 활성화 확인란이 선택되어 있는지 확인합니다.

5. 테이블 버킷 생성을 선택합니다. Amazon S3는 해당 리전에서 테이블 버킷을 자동으로 통합하려고 시도합니다.

AWS CLI를 사용하여 테이블 버킷을 통합하는 방법

다음 단계에서는 AWS CLI를 사용하여 테이블 버킷을 통합하는 방법을 보여줍니다. 이 단계를 사용하려면 user input placeholders를 실제 정보로 대체합니다.

1. 테이블 버킷을 생성합니다.

   aws s3tables create-table-bucket \
   --region us-east-1 \
   --name amzn-s3-demo-table-bucket

2. Lake Formation이 테이블 리소스에 액세스할 수 있도록 허용하는 IAM 서비스 역할을 생성합니다.

   1. 다음 신뢰 정책을 포함하는 Role-Trust-Policy.json이라는 파일을 생성합니다.

      JSON

      다음 명령을 사용하여 IAM 서비스 역할을 생성합니다.

      aws iam create-role \
      --role-name S3TablesRoleForLakeFormation \
      --assume-role-policy-document file://Role-Trust-Policy.json                

   2. 다음 신뢰 정책을 포함하는 LF-GluePolicy.json이라는 파일을 생성합니다.

      JSON

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Sid": "LakeFormationPermissionsForS3ListTableBucket",
                  "Effect": "Allow",
                  "Action": [
                      "s3tables:ListTableBuckets"
                  ],
                  "Resource": [
                      "*"
                  ]
              },
              {
                  "Sid": "LakeFormationDataAccessPermissionsForS3TableBucket",
                  "Effect": "Allow",
                  "Action": [
                      "s3tables:CreateTableBucket",
                      "s3tables:GetTableBucket",
                      "s3tables:CreateNamespace",
                      "s3tables:GetNamespace",
                      "s3tables:ListNamespaces",
                      "s3tables:DeleteNamespace",
                      "s3tables:DeleteTableBucket",
                      "s3tables:CreateTable",
                      "s3tables:DeleteTable",
                      "s3tables:GetTable",
                      "s3tables:ListTables",
                      "s3tables:RenameTable",
                      "s3tables:UpdateTableMetadataLocation",
                      "s3tables:GetTableMetadataLocation",
                      "s3tables:GetTableData",
                      "s3tables:PutTableData"
                  ],
                  "Resource": [
                      "arn:aws:s3tables:us-east-1:111122223333:bucket/*"
                  ]
              }
          ]
      }
      

      다음 명령을 사용하여 정책을 역할에 연결합니다.

      aws iam put-role-policy \
      --role-name S3TablesRoleForLakeFormation  \
      --policy-name LakeFormationDataAccessPermissionsForS3TableBucket \
      --policy-document file://LF-GluePolicy.json

3. 다음을 포함하는 input.json이라는 파일을 생성합니다.

   {
       "ResourceArn": "arn:aws:s3tables:us-east-1:111122223333:bucket/*",
   
       "WithFederation": true,
       "RoleArn": "arn:aws:iam::111122223333:role/S3TablesRoleForLakeFormation"
   }                

   다음 명령을 사용하여 Lake Formation에 테이블 버킷을 등록합니다.

   aws lakeformation register-resource \
   --region us-east-1 \
   --with-privileged-access \
   --cli-input-json file://input.json

4. 다음 카탈로그를 포함하는 catalog.json이라는 파일을 생성합니다.

   {
      "Name": "s3tablescatalog",
      "CatalogInput": {
         "FederatedCatalog": {
             "Identifier": "arn:aws:s3tables:us-east-1:111122223333:bucket/*",
             "ConnectionName": "aws:s3tables"
          },
          "CreateDatabaseDefaultPermissions":[],
          "CreateTableDefaultPermissions":[],
          "AllowFullTableExternalDataAccess": "True"
      }
   }     

   다음 명령을 사용하여 s3tablescatalog 카탈로그를 생성합니다. 이 카탈로그를 생성하면 테이블 버킷, 네임스페이스 및 테이블에 해당하는 객체로 AWS Glue Data Catalog를 채웁니다.

   aws glue create-catalog \
   --region us-east-1 \
   --cli-input-json file://catalog.json

5. 다음 명령을 사용하여 s3tablescatalog 카탈로그가 AWS Glue에 추가되었는지 확인합니다.

   aws glue get-catalog --catalog-id s3tablescatalog

1. https://console.aws.amazon.com/lakeformation/에서 AWS Lake Formation 콘솔을 열고 데이터 레이크 관리자로 로그인합니다. 데이터 레이크 관리자 생성 방법에 대한 자세한 내용은 AWS Lake Formation 개발자 안내서의 데이터 레이크 관리자 생성을 참조하세요.

2. 다음을 수행하여 s3tablescatalog 카탈로그를 삭제합니다.

   • 왼쪽 탐색 창에서 카탈로그를 선택합니다.

   • 카탈로그 목록의 s3tablescatalog 카탈로그 옆에 있는 옵션 버튼을 선택합니다. [Actions] 메뉴에서 [Delete]를 선택합니다.

3. 다음을 수행하여 s3tablescatalog 카탈로그의 데이터 위치를 등록 취소합니다.

   • 왼쪽 탐색 창에서 관리 섹션으로 이동하고 데이터 레이크 위치를 선택합니다.

   • s3tablescatalog 데이터 레이크 위치 옆의 옵션 버튼을 선택합니다. 예를 들어, s3://tables:region:account-id:bucket/*입니다.

   • 작업 메뉴에서 제거를 선택합니다.

   • 나타나는 대화 상자에서 제거를 선택합니다.

4. 이제 s3tablescatalog 카탈로그 및 데이터 레이크 위치를 삭제했으므로 업데이트된 통합 프로세스를 사용하여 테이블 버킷을 AWS 분석 서비스와 통합하는 단계를 수행할 수 있습니다.