View a markdown version of this page

Intelligent-Tiering으로 테이블에 대한 비용 최적화 - Amazon Simple Storage Service

Intelligent-Tiering으로 테이블에 대한 비용 최적화

S3 Intelligent-Tiering을 사용하여 테이블의 스토리지 비용을 자동으로 최적화할 수 있습니다. S3 Intelligent-Tiering 스토리지 클래스는 액세스 패턴이 변경될 때 가장 비용 효율적인 액세스 계층으로 데이터를 자동으로 이동하여 스토리지 비용을 최적화하도록 설계되었습니다. S3 Intelligent-Tiering을 사용하면 자주 액세스하지 않는 데이터가 자동으로 저비용 계층으로 이동하고 다시 액세스할 때마다 Frequent Access 계층으로 다시 이동합니다.

모든 데이터는 검색 요금, 성능 영향 또는 가용성 변경 없이 계층 간에 이동됩니다. 또한 압축과 같은 테이블 유지 관리 작업은 액세스 패턴을 기반으로 최적화되어 Frequent Access 계층에서 활발하게 액세스한 데이터만 처리하는 동시에 저렴한 계층에서 자주 액세스하지 않는 데이터에 대한 유지 관리 비용을 절감합니다.

S3 Tables Intelligent-Tiering 액세스 계층

테이블이 S3 Intelligent-Tiering 스토리지 클래스에 저장되면 Amazon S3는 액세스 패턴을 지속적으로 모니터링하고 액세스 계층 간에 테이블 데이터를 자동으로 이동합니다.

계층화는 개별 파일 수준에서 수행되므로 단일 테이블에는 액세스 패턴에 따라 여러 계층의 파일이 있을 수 있습니다. 테이블 데이터는 액세스 패턴에 따라 다음 액세스 계층 중 하나로 자동 이동됩니다.

  • Frequent Access: 모든 파일의 기본 계층입니다. 다른 계층의 파일은 액세스할 때 자동으로 Frequent Access 계층으로 돌아갑니다.

  • Infrequent Access: 연속되는 30일 동안 파일에 액세스하지 않으면 Infrequent Access 계층으로 이동합니다.

  • Archive Instant Access: 연속되는 90일 동안 파일에 액세스하지 않으면 Archive Instant Access 계층으로 이동합니다.

모든 계층은 밀리초 지연 시간, 높은 처리량 성능을 제공하며 99.9% 가용성과 99.999999999% 내구성을 제공하도록 설계되었습니다.

S3 Intelligent-Tiering을 사용한 자동 계층화 동작

다음 작업은 Infrequent Access 계층 또는 Archive Instant Access 계층에서 Frequent Access 계층으로 파일을 자동으로 이동하는 액세스를 구성합니다.

  • GetObject, PutObject 또는 CompleteMultipartUpload 작업을 사용하여 테이블 데이터 또는 메타데이터 파일에 대한 모든 읽기 또는 쓰기 작업

  • Iceberg REST API 작업을 사용하는 LoadTable 또는 UpdateTable 작업

  • S3 Tables 복제 작업

이외 작업은 Infrequent Access 계층 또는 Archive Instant Access 계층에서 Frequent Access 계층으로 파일을 자동으로 이동하는 액세스를 구성하지 않습니다.

참고

128KB 미만의 파일은 자동 계층화에 적합하지 않으며 Frequent Access 계층에 유지됩니다. 압축은 이러한 파일을 더 적은 수의 더 큰 객체로 결합하고 새 스냅샷으로 테이블에 다시 커밋할 수 있습니다. 새 파일이 128KB 이상인 경우 새로 압축된 파일은 자동 계층화에 적합합니다.

테이블 유지 관리 동작

스냅샷 관리, 참조되지 않은 파일 제거, 레코드 만료와 같이 Amazon S3에서 수행하는 자동 테이블 유지 관리 작업은 계층에 관계없이 테이블에서 계속 실행됩니다. 압축은 Frequent Access 계층의 파일에서만 실행되므로 자주 액세스하는 데이터의 성능을 최적화하는 동시에 저렴한 계층의 데이터에 대한 유지 관리 비용을 절감할 수 있습니다.

유지 관리 작업은 테이블에 있는 파일의 액세스 계층에 영향을 주지 않습니다. 유지 관리 작업에서 수행하는 읽기로 인해 파일이 계층을 변경하지 않습니다. 그러나 압축 또는 레코드 만료와 같은 유지 관리 작업이 새 파일을 쓰는 경우 해당 파일은 Frequent Access 계층에 생성됩니다.

참고

압축은 Frequent Access 계층의 파일만 처리하기 때문에 저비용 계층의 데이터에 대한 삭제 작업은 자동으로 압축되지 않는 삭제 파일을 생성합니다. 이러한 삭제 파일은 연결된 데이터 파일에 액세스하고 Frequent Access 계층으로 다시 이동할 때 압축할 수 있습니다. 자주 액세스하지 않는 테이블의 경우 Amazon EMR을 사용하여 압축을 수동으로 실행하여 이러한 삭제 파일을 연결된 데이터 파일로 압축할 수 있습니다. 자세한 내용은 압축을 사용하여 테이블 유지 관리를 참조하세요. Amazon CloudWatch 지표를 바탕으로 테이블의 파일 증가를 모니터링하여 수동 압축이 유용할 수 있는 시기를 결정할 수 있습니다.

S3 Intelligent-Tiering을 스토리지 클래스로 지정

기본적으로 모든 테이블은 S3 Standard 스토리지 클래스에서 생성되며 S3 Intelligent-Tiering으로 이동할 수 없습니다. S3 Intelligent-Tiering을 사용하려면 테이블 생성 시 지정해야 합니다. S3 Intelligent-Tiering을 테이블 버킷의 기본 스토리지 클래스로 설정하여 S3 Intelligent-Tiering 스토리지 클래스에 생성된 새 테이블을 자동으로 저장할 수도 있습니다.

테이블 버킷에 S3 Intelligent-Tiering 지정

CreateTableBucket 작업과 함께 storage-class-configuration 헤더를 사용하여 새 테이블 버킷을 생성할 때 S3 Intelligent-Tiering을 기본 스토리지 클래스로 지정할 수 있습니다.

기존 테이블 버킷의 기본 스토리지 클래스를 확인하려면 GetTableBucketStorageClass 작업을 사용합니다. 기존 테이블 버킷의 기본 스토리지 클래스를 수정하려면 PutTableBucketStorageClass 작업을 사용합니다.

참고

테이블 버킷에서 기본 스토리지 클래스를 수정하면 해당 설정은 해당 버킷에서 생성된 새 테이블에만 적용됩니다. 기존 테이블의 스토리지 클래스는 변경되지 않습니다.

테이블에 S3 Intelligent-Tiering 지정

CreateTable 작업과 함께 storage-class-configuration 헤더를 사용하여 새 테이블을 생성할 때 S3 Intelligent-Tiering을 스토리지 클래스로 지정할 수 있습니다.

테이블 생성 시 스토리지 클래스를 지정하지 않으면 테이블이 테이블 버킷에 구성된 기본 스토리지 클래스에 생성됩니다. 테이블이 생성되면 해당 스토리지 클래스를 수정할 수 없습니다.

기존 테이블 버킷의 기본 스토리지 클래스를 확인하려면 GetTableBucketStorageClass 작업을 사용합니다.

스토리지 사용량 모니터링

계정의 AWS 비용 및 사용 보고서에서 액세스 계층별로 스토리지 사용 내역을 볼 수 있습니다. 자세한 내용은AWS 데이터 내보내기 사용 설명서비용 및 사용 보고서 생성을 참조하세요.

결제 보고서에서 사용할 수 있는 사용 유형은 다음과 같습니다.

사용 유형 단위 Granularity 설명
region-Tables-TimedStorage-INT-FA-ByteHrs GB-월 일별 S3 Intelligent-Tiering 스토리지의 S3 Intelligent-Tiering Frequent Access에 데이터가 저장되었던 GB-월 수
region-Tables-TimedStorage-INT-IA-ByteHrs GB-월 일별 S3 Intelligent-Tiering 스토리지의 S3 Intelligent-Tiering Infrequent Access에 데이터가 저장되었던 GB-월 수
region-Tables-TimedStorage-INT-AIA-ByteHrs GB-월 일별 S3 Intelligent-Tiering 스토리지의 S3 Intelligent-Tiering Archive Instant Access에 데이터가 저장되었던 GB-월 수
region-Tables-Requests-INT-Tier1 개수 시간당 S3 Tables Intelligent-Tiering 객체에 대한 PUT, COPY 또는 POST 요청의 수
region-Tables-Requests-INT-Tier2 개수 시간당 S3 Tables Intelligent-Tiering 객체에 대한 GET 및 기타 모든 비Tier1 요청의 수