Trabalhar com o Apache Iceberg V3

O Apache Iceberg Versão 3 (V3), a versão mais recente da especificação de formato de tabela Apache Iceberg, introduz recursos avançados para criar data lakes em escala de petabytes com desempenho aprimorado e custos operacionais indiretos reduzidos. A V3 aborda gargalos de desempenho comuns encontrados na V2, principalmente em relação a atualizações em lote e exclusões de conformidade.

A AWS permite o uso de vetores de exclusão e linhagem de linha, conforme definido na especificação do Apache Iceberg Versão 3 (V3). Esses recursos estão disponíveis com o Apache Spark no Amazon EMR 7.12, no Glue ETL, em cadernos do Estúdio Unificado Amazon SageMaker e em tabelas Apache Iceberg no Catálogo de Dados do AWS Glue, inclusive na funcionalidade Tabelas do Amazon S3.

Recursos principais na V3

Compatibilidade da versão

A V3 mantém a compatibilidade com versões anteriores de tabelas da V2. Os serviços da AWS aceitam tabelas da V2 e da V3 simultaneamente, permitindo que você:

Conceitos básicos da V3

Pré-requisitos

Antes de trabalhar com tabelas da V3, verifique se você tem:

Criar tabelas da V3

Criar outras tabelas da V3

Para criar uma tabela do Iceberg V3, defina a propriedade de tabela format-version como 3.

Usar o Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

Atualizar tabelas da V2 para a V3

É possível atualizar tabelas existentes da V2 para a V3 atomicamente sem reescrever dados.

Usar o Spark SQL:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

O que ocorre durante a atualização:

Habilitar vetores de exclusão

Para utilizar vetores de exclusão para atualizações, exclusões e mesclagens, configure o modo de gravação.

Usar o Spark SQL:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

Essas configurações garantem que as operações de atualização, exclusão e mesclagem criem arquivos de vetores de exclusão em vez de reescrever arquivos de dados inteiros.

Utilizar a linhagem de linha para rastreamento de alterações

A V3 adiciona automaticamente campos de metadados de linhagem de linha para rastrear alterações.

Usar o Spark SQL:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

O campo _row_id identifica exclusivamente cada linha, enquanto _last_updated_sequence_number rastreia quando a linha foi modificada pela última vez. Use esses campos para:

Práticas recomendadas para a V3

Quando usar a V3

Considere a possibilidade de fazer a atualização ou começar com a V3 quando:

Otimizar o desempenho de gravação

Otimizar o desempenho de leitura

Estratégia de migração

Quando migrar da V2 para a V3:

Considerações sobre compatibilidade

Solução de problemas

Problemas comuns

Receber ajuda

Preços

Disponibilidade

O suporte ao Apache Iceberg V3 está disponível em todas as regiões da AWS em que o Amazon EMR, o Catálogo de Dados do AWS Glue, o AWS Glue ETL e a funcionalidade Tabelas do S3 operam.

Recursos adicionais