本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Apache Iceberg V3

Apache Iceberg 第 3 版 (V3) 是 Apache Iceberg 資料表格式規格的最新版本，引入了進階功能，可建置 PB 級資料湖，以改善效能並減少營運開銷。V3 解決了第 2 版 (V2) 常見的效能瓶頸，特別是在批次更新和合規刪除方面。

AWS 支援 Apache Iceberg 第 3 版 (V3) 規格中定義的刪除向量、資料列歷程和變體資料類型。您可以在 Amazon EMR、AWS Glue ETL、Amazon SageMaker Unified Studio 筆記本和 AWS Glue Data Catalog 中的 Apache Iceberg 資料表上使用這些功能，包括 Amazon S3 資料表。變體資料類型專屬於 S3 Tables。

V3 中的主要功能

版本相容性

V3 與 V2 資料表保持回溯相容性。 AWS 服務同時支援 V2 和 V3 資料表，可讓您：

V3 入門

先決條件

使用 V3 資料表之前，請確定您有：

建立 V3 資料表

建立新的 V3 資料表

若要建立新的 Iceberg V3 資料表，請將 format-version 資料表屬性設定為 3。

使用 Spark SQL：

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

將 V2 資料表升級至 V3

您可以將現有的 V2 資料表以原子方式升級至 V3，而無需重寫資料。

使用 Spark SQL：

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

升級期間會發生什麼情況：

啟用刪除向量

若要利用刪除向量進行更新、刪除和合併，請設定您的寫入模式。

使用 Spark SQL：

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

這些設定可確保更新、刪除和合併操作會建立刪除向量檔案，而不是重寫整個資料檔案。

利用 Row-lineage 進行變更追蹤

V3 會自動新增資料列中繼資料欄位以追蹤變更。

使用 Spark SQL：

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

_row_id 欄位可唯一識別每一列，而 _last_updated_sequence_number 則會追蹤列上次修改的時間。使用這些欄位來：

使用變體資料類型

使用變體資料類型，您可以直接在 Iceberg 資料表中寫入 JSON 等半結構化資料，而無需事先定義固定結構描述。您可以更快速地寫入資料，同時仍能獲得高效率的分析查詢效能。Iceberg V3 相容引擎會在您寫入時將半結構化資料分割成隱藏的資料欄。這些隱藏的資料欄會產生查詢引擎用於最佳化的 Parquet 資料欄統計資料，例如檔案刪除。

使用 Spark SQL 建立具有變體資料欄的資料表：

CREATE TABLE IF NOT EXISTS myns.events (
    event_id bigint,
    event_timestamp timestamp,
    source string,
    event_data VARIANT
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
            

將半結構化資料插入變體資料欄：

INSERT INTO myns.events VALUES (
    1,
    current_timestamp(),
    'web-app',
    PARSE_JSON('{"user_id": "u-1234", "action": "page_view", "page": "/products", "duration_ms": 350}')
);

INSERT INTO myns.events VALUES (
    2,
    current_timestamp(),
    'mobile-app',
    PARSE_JSON('{"user_id": "u-5678", "action": "purchase", "items": [{"sku": "A100", "qty": 2}], "total": 49.99}')
);
            

使用 S3 Tables，變體資料欄的資料表維護，包括壓縮，會自動執行。壓縮會將來自小型檔案的半結構化來源資料合併為更大的檔案，Iceberg 引擎可以更有效率地讀取這些檔案，進而改善查詢效能。

V3 的最佳實務

何時使用 V3

在下列情況下，請考慮升級至 V3 或從 V3 開始：

最佳化寫入效能

最佳化讀取效能

遷移策略

從 V2 遷移至 V3 時：

相容性考量事項

壓縮的考量事項

根據預設，壓縮會寫入碎片變體 Parquet 檔案。不支援碎片的較舊讀取器可能無法讀取壓縮的檔案。您可以透過設定資料表屬性 來停用碎片write.variant.shredding.enabled=false。

疑難排解

常見問題

取得說明

定價

可用性

Amazon EMR、 AWS Glue Data Catalog、 AWS Glue ETL 和 SV3 Apache Iceberg V3 刪除向量和資料列譜。 AWS S3

S3 Tables 中的變體資料類型適用於下列 AWS 區域：美國東部 （維吉尼亞北部）、美國東部 （俄亥俄）、美國西部 （奧勒岡）、亞太區域 （孟買）、亞太區域 （首爾）、亞太區域 （新加坡）、亞太區域 （雪梨）、亞太區域 （東京）、加拿大 （中部）、歐洲 （法蘭克福）、歐洲 （愛爾蘭）、歐洲 （倫敦）、歐洲 （巴黎）、歐洲 （斯德哥爾摩） 和南美洲 （聖保羅）。

其他資源