메타데이터 테이블 구성 생성 - Amazon Simple Storage Service

메타데이터 테이블 구성 생성

완전관리형 Apache Iceberg 메타데이터 테이블에 Amazon S3 메타데이터를 생성하고 저장하려면 범용 버킷에 대한 메타데이터 테이블 구성을 생성합니다. Amazon S3는 버킷에서 구성이 활성 상태인 한 메타데이터 테이블을 지속적으로 업데이트하여 데이터에 대한 최신 변경 사항을 반영하도록 설계되었습니다. 또한 Amazon S3는 메타데이터 테이블을 지속적으로 최적화하여 스토리지 비용을 줄이고 분석 쿼리 성능을 개선하는 데 도움을 줍니다.

메타데이터 테이블의 Amazon 리소스 이름(ARN) 형식은 다음과 같습니다.

arn:aws:s3tables:region-code:account-id:bucket/table-bucket-name/table/metadata_table_name

Amazon S3 완전관리형 메타데이터 테이블은 테이블 버킷의 aws_s3_metadata 네임스페이스에 저장됩니다. 테이블 버킷의 네임스페이스에 대한 자세한 내용은 Table namespaces를 참조하세요.

Amazon S3 콘솔, AWS Command Line Interface(AWS CLI), AWS SDK 또는 Amazon S3 REST API를 사용하여 메타데이터 테이블 구성을 생성할 수 있습니다.

사전 조건

메타데이터 테이블 구성을 생성하려면 먼저 다음을 수행해야 합니다.

  • 메타데이터 테이블을 생성하고 관리하는 데 필요한 AWS Identity and Access Management(IAM) 권한이 있는지 확인합니다. 자세한 내용은 메타데이터 테이블 구성에 대한 권한 설정 섹션을 참조하세요.

  • 메타데이터 테이블을 저장할 S3 테이블 버킷을 생성합니다. 이 테이블 버킷은 범용 버킷과 동일한 AWS 리전 및 AWS 계정에 있어야 합니다. 테이블 버킷 생성에 대한 자세한 내용은 Creating table buckets을 참조하세요. Amazon S3 콘솔을 사용하여 구성을 생성하는 경우 이 프로세스의 일부로 이 단계를 수행할 수 있습니다.

  • Amazon Athena, Amazon EMR, Amazon Redshift, Apache Spark, Apache Trino 및 Apache Iceberg 형식을 지원하는 기타 애플리케이션과 같은 쿼리 엔진으로 메타데이터 테이블을 직접 쿼리할 수 있도록 테이블 버킷을 AWS Glue Data Catalog와 통합합니다. 자세한 내용은 AWS 분석 서비스를 사용하여 메타데이터 테이블 쿼리 섹션을 참조하세요.

메타데이터 테이블 구성 생성

메타데이터 테이블 구성을 생성하는 방법

메타데이터 테이블 구성을 생성하기 전에 사전 조건을 검토하고 충족했는지 확인하고 메타데이터 테이블의 한계 및 제한 섹션을 검토합니다.

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/s3/에서 S3 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 범용 버킷을 선택합니다.

  3. 메타데이터 테이블 구성을 생성할 범용 버킷을 선택합니다.

    참고

    이 범용 버킷이 테이블 버킷을 사용할 수 있는 AWS 리전인지 확인합니다. 테이블 버킷은 미국 동부(버지니아 북부), 미국 동부(오하이오) 및 미국 서부(오리건) 리전에서만 사용할 수 있습니다.

  4. 버킷의 세부 정보 페이지에서 메타데이터 탭을 선택합니다.

  5. 메타데이터 탭에서 메타데이터 구성 생성을 선택합니다.

  6. 메타데이터 구성 생성 페이지의 대상 테이블 버킷에서 메타데이터 테이블을 저장할 테이블 버킷을 지정합니다. 테이블 버킷은 범용 버킷과 동일한 AWS 계정 및 AWS 리전에 있어야 합니다.

    테이블 버킷이 아직 없는 경우 테이블 버킷 생성을 선택합니다. 테이블 버킷 이름은 3~63자여야 하며 선택한 AWS 리전의 AWS 계정 내에서 고유해야 합니다. 유효한 문자는 a~z, 0~9 및 하이픈(-)입니다. 테이블 버킷 생성에 대한 자세한 내용은 Creating table buckets을 참조하세요.

    테이블 버킷을 생성할 때 AWS Glue Data Catalog와 통합해야 합니다. 자세한 내용은 AWS 분석 서비스를 사용하여 메타데이터 테이블 쿼리 섹션을 참조하세요.

  7. 메타데이터 테이블 이름에서 테이블의 이름을 지정합니다. 메타데이터 테이블 이름은 1~255자여야 하며 테이블 버킷의 aws_s3_metadata 네임스페이스 내에서 고유해야 합니다. 유효한 문자는 소문자, 숫자 및 밑줄(_)입니다.

  8. 메타데이터 테이블 구성 생성을 선택합니다.

메타데이터 테이블 구성이 성공하면 메타데이터 테이블의 ARN이 지정된 테이블 버킷 및 메타데이터 테이블 이름과 함께 메타데이터 탭에 표시됩니다.

메타데이터 테이블 구성에 대한 업데이트를 모니터링하려면 AWS CloudTrail을 사용할 수 있습니다. 자세한 내용은 CloudTrail 로깅을 통해 추적되는 Amazon S3 버킷 수준 작업 섹션을 참조하세요.

다음 명령을 실행하려면 AWS CLI를 설치하고 구성해야 합니다. AWS CLI를 설치하지 않은 경우 AWS Command Line Interface 사용 설명서에서 최신 버전의 AWS CLI 설치 또는 업데이트를 참조하세요.

또는 AWS CloudShell을 사용하여 콘솔에서 AWS CLI 명령을 실행할 수 있습니다. AWS CloudShell은 브라우저 기반의 사전 인증된 쉘로, AWS Management Console에서 직접 시작할 수 있습니다. 자세한 내용은 AWS CloudShell 사용 설명서에서 CloudShell이란 무엇인가요?AWS CloudShell 시작하기를 참조하세요.

AWS CLI를 사용하여 메타데이터 테이블 구성을 생성하는 방법

메타데이터 테이블 구성을 생성하기 전에 사전 조건을 검토하고 충족했는지 확인하고 메타데이터 테이블의 한계 및 제한 섹션을 검토합니다.

다음 예시 명령을 사용하려면 user input placeholders를 실제 정보로 대체하세요.

  1. 테이블 버킷이 아직 없는 경우 다음 명령을 사용하여 메타데이터 테이블을 저장할 테이블 버킷을 생성합니다. 테이블 버킷이 메타데이터 테이블 구성을 생성하려는 범용 버킷과 동일한 AWS 리전에 있는지 확인합니다.

    aws s3tables create-table-bucket --name amzn-s3-demo-bucket --region us-east-2
  2. 테이블 버킷이 생성되었는지 확인하려면 다음 명령을 사용합니다.

    aws s3tables list-table-buckets --region us-east-2
  3. 메타데이터 테이블 구성이 포함된 JSON 파일을 생성하고 저장합니다(예: metadata-config.json). 다음은 샘플 구성입니다.

    테이블 버킷 이름은 3~63자여야 하며 선택한 AWS 리전의 AWS 계정 내에서 고유해야 합니다. 유효한 문자는 a~z, 0~9 및 하이픈(-)입니다. 테이블 버킷 생성에 대한 자세한 내용은 Creating table buckets을 참조하세요.

    메타데이터 테이블 이름은 1~255자여야 하며 테이블 버킷의 aws_s3_metadata 네임스페이스 내에서 고유해야 합니다. 유효한 문자는 소문자, 숫자 및 밑줄(_)입니다.

    { "S3TablesDestination": { "TableBucketArn": "arn:aws:s3tables:us-east-2:111122223333:bucket/amzn-s3-demo-bucket", "TableName": "test_metadata_table" } }
  4. 다음 명령을 사용하여 메타데이터 테이블 구성을 범용 버킷에 적용합니다(예: amzn-s3-demo-source-bucket).

    aws s3api create-bucket-metadata-table-configuration \ --bucket amzn-s3-demo-source-bucket \ --metadata-table-configuration file://./metadata-config.json \ --region us-east-2
  5. 구성이 추가되었는지 확인하려면 다음 명령을 사용합니다.

    aws s3api get-bucket-metadata-table-configuration \ --bucket amzn-s3-demo-source-bucket \ --region us-east-2

메타데이터 테이블 구성에 대한 업데이트를 모니터링하려면 AWS CloudTrail을 사용할 수 있습니다. 자세한 내용은 CloudTrail 로깅을 통해 추적되는 Amazon S3 버킷 수준 작업 섹션을 참조하세요.

REST 요청을 전송하여 메타데이터 테이블 구성을 생성할 수 있습니다. 자세한 내용은 Amazon S3 API 참조의 CreateBucketMetadataTableConfiguration 섹션을 참조하세요.

AWS SDK를 사용하여 Amazon S3에서 메타데이터 테이블 구성을 생성할 수 있습니다. 자세한 내용은 Amazon S3 API 참조지원되는 SDK 목록을 참조하세요.