Apache Iceberg V3 작업

Apache Iceberg 버전 3(V3)은 Apache Iceberg 테이블 형식 사양의 최신 버전으로, 성능이 향상되고 운영 오버헤드가 줄어 페타바이트 규모의 데이터 레이크를 빌드하기 위한 고급 기능을 도입했습니다. V3는 특히 배치 업데이트 및 규정 준수 삭제와 관련하여 V2에서 발생하는 일반적인 성능 병목 현상을 해결합니다.

AWS는 Apache Iceberg 버전 3(V3) 사양에 정의된 대로 삭제 벡터 및 행 계보에 대한 지원을 제공합니다. 이러한 기능은 Amazon S3 Tables를 포함하여 Amazon EMR 7.12의 Apache Spark, AWS Glue ETL, Amazon SageMaker Unified Studio Notebooks 및 AWS Glue Data Catalog의 Apache Iceberg 테이블에서 사용할 수 있습니다.

V3의 주요 기능

버전 호환성

V3는 V2 테이블과의 이전 버전과의 호환성을 유지합니다. AWS 서비스는 V2 및 V3 테이블을 동시에 지원하므로 다음을 수행할 수 있습니다.

V3 시작하기

사전 조건

V3 테이블로 작업하기 전에 다음을 확인해야 합니다.

V3 테이블 생성

새 V3 테이블 생성

새 Iceberg V3 테이블을 생성하려면 형식 버전 테이블 속성을 3으로 설정합니다.

Spark SQL 사용:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

V2 테이블을 V3로 업그레이드

데이터를 다시 작성하지 않고도 기존 V2 테이블을 V3로 원자적으로 업그레이드할 수 있습니다.

Spark SQL 사용:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

업그레이드 중에 발생하는 일:

삭제 벡터 활성화

업데이트, 삭제 및 병합에 삭제 벡터를 활용하려면 쓰기 모드를 구성합니다.

Spark SQL 사용:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

이러한 설정은 업데이트, 삭제 및 병합 작업이 전체 데이터 파일을 다시 작성하는 대신 삭제 벡터 파일을 생성하도록 합니다.

변경 추적을 위한 행 계보 활용

V3는 행 계보 메타데이터 필드를 자동으로 추가하여 변경 사항을 추적합니다.

Spark SQL 사용:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

_row_id 필드는 각 행을 고유하게 식별하는 반면, _last_updated_sequence_number는 행이 마지막으로 수정된 시점을 추적합니다. 다음 필드를 사용하여 다음을 수행할 수 있습니다.

V3의 모범 사례

V3를 사용해야 하는 경우

다음과 같은 경우 V3로 업그레이드하거나 V3로 시작하는 것이 좋습니다.

쓰기 성능 최적화

읽기 성능 최적화

마이그레이션 전략

V2에서 V3로 마이그레이션하는 경우:

호환성 고려 사항

문제 해결

공통 문제

도움말 보기

가격 책정

가용성

Apache Iceberg V3 지원은 Amazon EMR, AWS Glue Data Catalog, AWS Glue ETL 및 S3 Tables가 운영되는 모든 AWS 리전에서 사용할 수 있습니다.

추가 리소스