As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Trabalhando com a versão 3 da especificação de formato de tabela Iceberg

A versão mais recente da especificação do formato de tabela Apache Iceberg é a versão 3. Esta versão apresenta recursos avançados para criar lagos de dados em escala de petabytes com desempenho aprimorado e redução da sobrecarga operacional. Ele aborda gargalos de desempenho comuns encontrados na versão 2, principalmente em relação a atualizações em lote e operações de exclusão de conformidade.

AWS fornece suporte para vetores de exclusão e linhagem de linha, conforme definido na especificação Iceberg versão 3. Esses recursos estão disponíveis com o Apache Spark nas seguintes opções. Serviços da AWS

Principais recursos da versão 3

Os vetores de exclusão substituem os arquivos de exclusão posicional usados na versão 2 por um formato binário eficiente armazenado como arquivos Puffin. Isso elimina a amplificação de gravação de atualizações aleatórias em lote e exclusões de conformidade com o Regulamento Geral de Proteção de Dados (GDPR) e reduz significativamente a sobrecarga de manter dados atualizados. As organizações que processam atualizações de alta frequência verão melhorias imediatas no desempenho de gravação e custos reduzidos de armazenamento com menos arquivos pequenos.

A linhagem da linha permite o rastreamento preciso das alterações no nível da linha. Seus sistemas downstream podem processar mudanças de forma incremental, acelerando os pipelines de dados e reduzindo os custos de computação para fluxos de trabalho de captura de dados de alteração (CDC). Esse recurso integrado elimina a necessidade de implementações personalizadas de rastreamento de alterações.

Compatibilidade da versão

A versão 3 mantém a compatibilidade com versões anteriores das tabelas da versão 2. Os serviços da AWS oferecem suporte às tabelas da versão 2 e da versão 3 simultaneamente, para que você possa:

Começando com a versão 3

Pré-requisitos

Antes de trabalhar com as tabelas da versão 3, verifique se você tem:

Criação de tabelas da versão 3

Criar novas tabelas

Para criar uma nova tabela do Iceberg versão 3, defina a propriedade da format-version tabela como 3.

Usando o Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (
    order_id bigint,
    customer_id string,
    order_date date,
    total_amount decimal(10,2),
    status string,
    created_at timestamp
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)

Atualizando as tabelas da versão 2 para a versão 3

Você pode atualizar as tabelas existentes da versão 2 para a versão 3 atomicamente sem reescrever os dados.

Usando o Spark SQL:

ALTER TABLE myns.existing_table
SET TBLPROPERTIES ('format-version' = '3')

O que acontece durante a atualização:

Após a atualização:

A atualização não realiza um preenchimento histórico dos registros de rastreamento de alterações de linhagem de linha.

Ativando vetores de exclusão

Para aproveitar os vetores de exclusão para atualizações, exclusões e mesclagens, configure seu modo de gravação.

Usando o Spark SQL:

ALTER TABLE myns.orders_v3
SET TBLPROPERTIES ('format-version' = '3',
                   'write.delete.mode' = 'merge-on-read',
                   'write.update.mode' = 'merge-on-read',
                   'write.merge.mode' = 'merge-on-read'
                  )

Essas configurações garantem que as operações de atualização, exclusão e mesclagem criem arquivos vetoriais de exclusão em vez de reescrever arquivos de dados inteiros.

Usando linhagem de linha para rastreamento de alterações

A versão 3 adiciona automaticamente campos de metadados de linhagem de linha para rastrear as alterações.

Usando o Spark SQL:

# Query with parameter value provided
last_processed_sequence = 47

SELECT 
    id,
    data,
    _row_id,
    _last_updated_sequence_number
FROM myns.orders_v3
WHERE _last_updated_sequence_number > :last_processed_sequence

O _row_id campo identifica de forma exclusiva cada linha e _last_updated_sequence_number rastreia quando a linha foi modificada pela última vez. Use esses campos para:

Práticas recomendadas para a versão 3

Quando usar a versão 3

Considere atualizar para a versão 3 ou começar com ela quando:

Otimizando o desempenho de gravação

Otimizando o desempenho de leitura

Estratégia de migração

Ao migrar da versão 2 para a versão 3, siga estas melhores práticas:

Considerações sobre compatibilidade

Solução de problemas

Problemas comuns

Erro: “a versão de formato 3 não é suportada”

Degradação do desempenho após a atualização

Incompatibilidade com ferramentas de terceiros

Como obter ajuda

Preços

Disponibilidade

O suporte à especificação de formato de tabela Iceberg versão 3 está disponível em todos os Regiões da AWS locais em que as tabelas Amazon EMR AWS Glue, AWS Glue Data Catalog, e S3 operam. Para ver a disponibilidade da região, consulte Serviços da AWS por região.

Recursos adicionais do