本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Apache Iceberg V3

Apache Iceberg 第 3 版 (V3) 是 Apache Iceberg 資料表格式規格的最新版本，引入了進階功能，可建置 PB 級資料湖，以改善效能並減少營運開銷。V3 解決 V2 常見的效能瓶頸，特別是在批次更新和合規刪除方面。

AWS 支援 Apache Iceberg 第 3 版 (V3) 規格中定義的刪除向量和資料列歷程。這些功能適用於 Amazon EMR 7.12 上的 Apache Spark、AWS Glue ETL、Amazon SageMaker Unified Studio 筆記本，以及 AWS Glue Data Catalog 中的 Apache Iceberg 資料表，包括 Amazon S3 資料表。

V3 中的主要功能

版本相容性

V3 與 V2 資料表保持回溯相容性。 AWS 服務同時支援 V2 和 V3 資料表，可讓您：

V3 入門

先決條件

使用 V3 資料表之前，請確定您有：

建立 V3 資料表

建立新的 V3 資料表

若要建立新的 Iceberg V3 資料表，請將 format-version 資料表屬性設定為 3。

使用 Spark SQL：

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

將 V2 資料表升級至 V3

您可以將現有的 V2 資料表以原子方式升級至 V3，而無需重寫資料。

使用 Spark SQL：

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

升級期間會發生什麼情況：

啟用刪除向量

若要利用刪除向量進行更新、刪除和合併，請設定您的寫入模式。

使用 Spark SQL：

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

這些設定可確保更新、刪除和合併操作會建立刪除向量檔案，而不是重寫整個資料檔案。

利用資料列線性進行變更追蹤

V3 會自動新增資料列中繼資料欄位以追蹤變更。

使用 Spark SQL：

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

_row_id 欄位可唯一識別每一列，而 _last_updated_sequence_number 則會追蹤列上次修改的時間。使用這些欄位來：

V3 的最佳實務

何時使用 V3

在下列情況下，請考慮升級至 V3 或從 V3 開始：

最佳化寫入效能

最佳化讀取效能

遷移策略

從 V2 遷移至 V3 時：

相容性考量事項

疑難排解

常見問題

取得說明

定價

可用性

Apache Iceberg V3 支援適用於 Amazon EMR、 AWS Glue Data Catalog、 AWS Glue ETL 和 S3 Tables 運作的所有 AWS 區域。

其他資源