Apache Iceberg V3 の使用

Apache Iceberg バージョン 3 (V3) は、Apache Iceberg テーブル形式の仕様の最新バージョンであり、ペタバイト規模のデータレイクを構築するための高度な機能を導入し、パフォーマンスを向上させ、運用オーバーヘッドを削減します。V3 は、特にバッチ更新とコンプライアンス削除に関連して、V2 で発生する一般的なパフォーマンスのボトルネックに対処します。

AWS は、Apache Iceberg バージョン 3 (V3) 仕様で定義されている削除ベクトルと行リネージュをサポートしています。これらの機能は、Amazon EMR 7.12 の Apache Spark、AWS Glue ETL、Amazon SageMaker Unified Studio ノートブック、および Amazon S3 Tables を含む AWS Glue Data Catalog の Apache Iceberg テーブルで使用できます。

V3 の主な機能

バージョン互換性

V3 は V2 テーブルとの下位互換性を維持します。AWS のサービスは V2 テーブルと V3 テーブルの両方を同時にサポートするため、次のことが可能になります。

V3 の開始方法

前提条件

V3 テーブルを使用する前に、以下を確認してください。

V3 テーブルの作成

新しい V3 テーブルの作成

新しい Iceberg V3 テーブルを作成するには、 format-version テーブルプロパティを 3 に設定します。

Spark SQL の使用:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

V2 テーブルを V3 にアップグレードする

データを書き換えることなく、既存の V2 テーブルを V3 にアトミックにアップグレードできます。

Spark SQL の使用:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

アップグレード中に何が起こるか:

削除ベクトルの有効化

更新、削除、マージで削除ベクトルを利用するには、書き込みモードを設定します。

Spark SQL の使用:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

これらの設定により、データファイル全体を書き換えるのではなく、更新、削除、マージオペレーションによって削除ベクトルファイルが作成されます。

変更追跡のための行リネージュの活用

V3 は、行リネージュメタデータフィールドを自動的に追加して変更を追跡します。

Spark SQL の使用:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

_row_id フィールドは各行を一意に識別し、_last_updated_sequence_number は行が最後に変更された日時を追跡します。これらのフィールドを使用して、次の操作を行います。

V3 のベストプラクティス

どのような場合に V3 を使用するか

次の場合は、V3 にアップグレードするか、V3 から開始することを検討してください。

書き込みパフォーマンスの最適化

読み取りパフォーマンスの最適化

移行戦略

V2 から V3 に移行する場合:

互換性に関する考慮事項

トラブルシューティング

一般的な問題

ヘルプの使用

料金

利用可能な状況

Apache Iceberg V3 のサポートは、Amazon EMR、AWS Glue Data Catalog、AWS Glue ETL、S3 Tables が動作するすべての AWS リージョンで利用できます。

その他のリソース