유지 관리 작업에 대한 고려 사항 및 제한 사항 - Amazon Simple Storage Service

유지 관리 작업에 대한 고려 사항 및 제한 사항

Amazon S3는 S3 테이블 또는 테이블 버킷의 성능을 개선하기 위한 유지 관리 작업을 제공합니다. 이러한 옵션은 파일 압축, 스냅샷 관리 및 참조되지 않은 파일 제거입니다. 다음은 이러한 관리 옵션에 대한 제한 사항 및 고려 사항입니다.

압축 고려 사항

압축에는 다음 고려 사항이 적용됩니다. 압축에 대한 자세한 내용은 S3 Tables 유지 관리 섹션을 참조하세요.

  • 압축은 Apache Parquet 파일 유형에서만 지원됩니다.

  • 압축은 Fixed 데이터 유형을 지원하지 않습니다.

  • 압축은 brotli, lz4 압축 유형을 지원하지 않습니다.

스냅샷 관리에 대한 고려 사항

다음은 스냅샷 관리에 적용되는 고려 사항입니다. 스냅샷 관리에 대한 자세한 내용은 S3 Tables 유지 관리 섹션을 참조하세요.

  • 스냅샷은 두 기준(보존할 최소 스냅샷 수 및 지정된 보존 기간)이 모두 충족되는 경우에만 보존됩니다.

  • 스냅샷 관리는 Apache Iceberg에서 만료된 스냅샷 메타데이터를 삭제하여 만료된 스냅샷에 대한 시간 이동 쿼리를 방지하고 선택적으로 연결된 데이터 파일을 삭제합니다.

  • 스냅샷 관리는 metadata.json 파일에서 또는 브랜치 또는 태그 기반 보존을 포함한 ALTER TABLE SET TBLPROPERTIES SQL 명령을 통해 Iceberg 테이블 속성으로 구성한 보존 값을 지원하지 않습니다. 스냅샷 관리는 브랜치 또는 태그 기반 보존 정책을 구성하거나 metadata.json 파일에 PutTableMaintenanceConfiguration API를 통해 구성된 값보다 긴 보존 정책을 구성할 때 비활성화됩니다. 이러한 경우 S3는 스냅샷을 만료하거나 제거하지 않으므로 스토리지 요금을 피하려면 스냅샷을 수동으로 삭제하거나 Iceberg 테이블에서 속성을 제거해야 합니다.

참조되지 않은 파일 제거 시 고려 사항

참조되지 않은 파일 제거에는 다음 고려 사항이 적용됩니다. 참조되지 않은 파일 제거에 대한 자세한 내용은 Amazon S3 테이블 버킷 유지 관리 섹션을 참조하세요.

  • 참조되지 않은 파일 제거는 생성 시간이 보존 기간 이전인 경우 Iceberg 메타데이터에서 더 이상 참조하지 않는 데이터 및 메타데이터 파일을 삭제합니다.

S3 테이블 및 테이블 버킷 유지 관리에 대한 제한 사항

유지 관리 작업 속성 테이블 버킷 수준에서 구성 가능 여부 테이블 수준에서 구성 가능 여부 기본값 최소값
압축 targetFileSizeMB 아니요 512MB 64MB
스냅샷 관리 minimumSnapshots 아니요 1 1
스냅샷 관리 maximumSnapshotAge 아니요 120시간 1시간
참조되지 않은 파일 제거 unreferencedDays 아니요 3일 1일
참조되지 않은 파일 제거 nonCurrentDays 아니요 10일 1일
참고

S3 Tables는 128MB의 parquets row-group-default 크기를 적용합니다.