Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Trabajando con la especificación de formato de tabla Iceberg versión 3

La última versión de la especificación de formato de tabla Iceberg de Apache es la versión 3. Esta versión presenta capacidades avanzadas para crear lagos de datos a escala de petabytes con un rendimiento mejorado y una reducción de los gastos operativos. Aborda los cuellos de botella de rendimiento más comunes que se presentan en la versión 2, especialmente en lo que respecta a las actualizaciones por lotes y las operaciones de eliminación de conformidad.

AWS proporciona soporte para los vectores de deleción y el linaje de filas, tal como se definen en la especificación de la versión 3 de Iceberg. Estas funciones están disponibles con Apache Spark en las siguientes ubicaciones. Servicios de AWS

Características principales de la versión 3

Los vectores de eliminación sustituyen a los archivos de eliminación posicional que se utilizaban en la versión 2 por un formato binario eficiente almacenado como archivos Puffin. De este modo, se elimina la amplificación de escritura que se produce al realizar actualizaciones aleatorias por lotes, y se eliminan las eliminaciones en cumplimiento del Reglamento General de Protección de Datos (GDPR), y se reduce considerablemente la sobrecarga que supone mantener los datos actualizados. Organizations que procesan actualizaciones de alta frecuencia verán mejoras inmediatas en el rendimiento de escritura y reducirán los costos de almacenamiento debido a la menor cantidad de archivos pequeños.

El linaje de filas permite un seguimiento preciso de los cambios a nivel de fila. Sus sistemas posteriores pueden procesar los cambios de forma incremental, lo que acelera los flujos de datos y reduce los costos de cómputo de los flujos de trabajo de captura de datos de cambios (CDC). Esta capacidad integrada elimina la necesidad de implementar el seguimiento de cambios personalizadas.

Compatibilidad de versiones

La versión 3 mantiene la compatibilidad con versiones anteriores de las tablas de la versión 2. Los servicios de AWS admiten las tablas de la versión 2 y la versión 3 de forma simultánea, por lo que puede:

Cómo empezar con la versión 3

Requisitos previos

Antes de trabajar con las tablas de la versión 3, asegúrese de que dispone de:

Creación de tablas de la versión 3

Creación de nuevas tablas

Para crear una nueva tabla de la versión 3 de Iceberg, establezca la propiedad de la format-version tabla en 3.

Uso de Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (
    order_id bigint,
    customer_id string,
    order_date date,
    total_amount decimal(10,2),
    status string,
    created_at timestamp
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)

Actualización de las tablas de la versión 2 a la versión 3

Puede actualizar las tablas de la versión 2 existentes a la versión 3 de forma atómica sin tener que volver a escribir los datos.

Uso de Spark SQL:

ALTER TABLE myns.existing_table
SET TBLPROPERTIES ('format-version' = '3')

Qué ocurre durante la actualización:

Después de la actualización

La actualización no rellena de forma histórica los registros de seguimiento de los cambios de linaje de las filas.

Habilitar los vectores de deleción

Para aprovechar los vectores de eliminación para actualizar, eliminar y fusionar, configure el modo de escritura.

Con Spark SQL:

ALTER TABLE myns.orders_v3
SET TBLPROPERTIES ('format-version' = '3',
                   'write.delete.mode' = 'merge-on-read',
                   'write.update.mode' = 'merge-on-read',
                   'write.merge.mode' = 'merge-on-read'
                  )

Esta configuración garantiza que las operaciones de actualización, eliminación y fusión creen archivos vectoriales de eliminación en lugar de reescribir archivos de datos completos.

Uso del linaje de filas para el seguimiento de cambios

La versión 3 agrega automáticamente campos de metadatos de linaje de filas para realizar un seguimiento de los cambios.

Uso de Spark SQL:

# Query with parameter value provided
last_processed_sequence = 47

SELECT 
    id,
    data,
    _row_id,
    _last_updated_sequence_number
FROM myns.orders_v3
WHERE _last_updated_sequence_number > :last_processed_sequence

El _row_id campo identifica de forma única cada fila y _last_updated_sequence_number registra cuándo se modificó la fila por última vez. Utilice estos campos para:

Prácticas recomendadas para la versión 3

Cuándo usar la versión 3

Considere la posibilidad de actualizar a la versión 3 o comenzar con ella cuando:

Optimizar el rendimiento de escritura

Optimización del rendimiento de lectura

Estrategia de migración

Al migrar de la versión 2 a la versión 3, siga estas prácticas recomendadas:

Consideraciones sobre compatibilidad

Resolución de problemas

Problemas comunes

Error: «No se admite el formato de la versión 3»

Degradación del rendimiento tras la actualización

Incompatibilidad con herramientas de terceros

Obtener ayuda

Precios

Disponibilidad.

La compatibilidad con la versión 3 de la especificación de formato de tabla Iceberg está disponible en todos los Regiones de AWS lugares en los que funcionan las tablas Amazon EMR AWS Glue AWS Glue Data Catalog,, y S3. Para ver la disponibilidad por región, consulte Servicios de AWS por región.

Recursos adicionales