Migração de tabelas existentes para o Iceberg - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Migração de tabelas existentes para o Iceberg

Esta seção se concentra na migração de suas tabelas existentes no estilo Hive para o formato Iceberg. Ela se aplica a tabelas que usam formatos tradicionais compatíveis com o Hive, como Apache Parquet ou Apache ORC. Essas informações não se aplicam a tabelas que já usam formatos de tabela modernos, como Linux Foundation Delta Lake ou Apache Hudi.

Para migrar suas tabelas atuais no estilo Hive para o formato Iceberg, você pode usar a migração de dados local ou completa: 

  • A migração local é o processo de gerar os arquivos de metadados do Iceberg sobre os arquivos de dados existentes.

  • A migração completa de dados cria a camada de metadados do Iceberg e também reescreve os arquivos de dados existentes da tabela original para a nova tabela do Iceberg.

As seções a seguir fornecem uma visão geral detalhada de cada método de migração, incluindo step-by-step instruções e considerações para implementação. Para obter mais informações sobre essas estratégias de migração, consulte a seção Migração de tabelas da documentação do Iceberg.

Depois de analisar os detalhes dos métodos de migração de dados no local e completos, consulte as duas seções principais a seguir para auxiliar seu processo de tomada de decisão:

  • A escolha de uma estratégia de migração fornece orientação por meio de uma série de perguntas e cenários, para ajudá-lo a determinar a abordagem de migração mais adequada com base em seus requisitos e casos de uso específicos.

  • O resumo das opções de migração fornece uma tabela abrangente que compara as principais características e considerações em diferentes opções de migração. Essa tabela serve como um guia de referência rápida e oferece uma comparação de recursos para ajudá-lo a entender as compensações técnicas entre os métodos.