使用 Apache Iceberg V3

Apache Iceberg 版本 3（V3）是 Apache Iceberg 表格式规范的最新版本，此版本引入了高级功能用于构建 PB 级数据湖，同时改善性能并降低运营开销。V3 解决了 V2 中会遇到的常见性能瓶颈，尤其是在批量更新和合规删除方面。

AWS 支持删除向量和行谱系，如 Apache Iceberg 版本 3（V3）规范中定义。这些功能可在下列服务中使用：Amazon EMR 7.12 上的 Apache Spark；AWS Glue ETL；Amazon SageMaker 融通式合作开发工作室笔记本；以及 AWS Glue Data Catalog 中的 Apache Iceberg 表（包括 Amazon S3 表类数据存储服务）。

V3 中的主要功能

版本兼容性

V3 保持与 V2 表的向后兼容性。AWS 服务同时支持 V2 和 V3 表，让您可以：

开始使用 V3

先决条件

使用 V3 表之前，请确保您具有：

创建 V3 表

创建新 V3 表

要创建新 Iceberg V3 表，请将 format-version 表属性设置为 3。

使用 Spark SQL：

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

将 V2 表升级到 V3

您可以自动将现有 V2 表升级到 V3 而无需重写数据。

使用 Spark SQL：

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

升级期间发生的操作：

启用删除向量

要利用删除向量进行更新、删除和合并，请配置您的写入模式。

使用 Spark SQL：

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

这些设置可确保更新、删除和合并操作创建删除向量文件，而不是重写整个数据文件。

利用行谱系进行变更跟踪

V3 会自动添加行谱系元数据字段用于跟踪更改。

使用 Spark SQL：

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

_row_id 字段唯一地标识每行，而 _last_updated_sequence_number 则跟踪上次修改该行的时间。使用这些字段可以：

V3 最佳实践

何时使用 V3

在以下情况下，可以考虑升级到 V3 或直接开始使用 V3：

优化写入性能

优化读取性能

迁移策略

从 V2 迁移到 V3：

兼容性注意事项

问题排查

常见问题

获取帮助

定价

可用性

所有提供 Amazon EMR、AWS Glue Data Catalog、AWS Glue ETL 和 S3 表类数据存储服务的 AWS 区域均支持 Apache Iceberg V3。

其他资源