Resumo das opções de migração - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Resumo das opções de migração

Esta tabela resume as principais características e considerações de cada opção de migração.

Recurso

Migração local

snapshot

Migração local

migrate

Migração completa de dados

CTAS ou (CRIAR TABELA + INSERIR)

Melhorias no layout de dados como parte do processo de migração

  • Reordenar dados

Não

Não

Sim

  • Alterar o particionamento (por exemplo, para usar o particionamento oculto do Iceberg)

Não

Não

Sim

  • Alterar esquema da tabela

Não

Não

Sim

  • Otimize o tamanho do arquivo

Não

Não

Sim

  • Valide o esquema dos dados existentes antes de adicionar os dados

Não

Não

Sim

Formatos de arquivo compatíveis

Parquet, Avro, ORC

Parquet, Avro, ORC

Parquete, Avro, ORC, JSON, CSV

Substituição da tabela de origem por uma tabela Iceberg

Não

(cria uma nova tabela, mas com etapas adicionais você pode substituir a tabela de origem)

Sim

(cria uma tabela de backup e substitui a tabela de origem por uma tabela Iceberg)

Não

(cria uma nova tabela)

Impacto da tabela de origem

  • Operações de exclusão de arquivos na tabela Iceberg (expire_snapshot operações, eliminação de uma tabela com limpeza)

Corrompe a tabela de origem

Corrompe a tabela de backup

Seguro, fonte não afetada

Impacto na mesa de iceberg

  • Impacto se os arquivos da tabela de origem forem removidos

Corrompe a tabela Iceberg

Corrompe a tabela Iceberg

Sem impacto na mesa Iceberg

  • Impacto se novos arquivos forem adicionados no local da tabela de origem

Não visível na nova tabela

(é necessário incorporar a partição comadd_files)

Não visível na nova tabela

(é necessário incorporar a partição comadd_files)

Não visível na nova tabela

(necessidade INSERT INTO da nova tabela)

Custos

Baixo

Baixo

Superior (regravação completa dos dados)

Velocidade de migração

Fast

Fast

Mais lento

Pode ser usado para migrar para tabelas do Amazon S3

Não

Não

Sim

Requer DDL manual

Não

(o esquema e as partições são copiados da tabela de origem)

Não

(o esquema e as partições são copiados da tabela de origem)

Se estiver usando CTAS, requer apenas a especificação do particionamento

Melhor uso

Migração rápida sem reescrever dados, permitindo o side-by-side uso do Hive e do Iceberg para testes ou transições graduais.

Substituir uma tabela do Hive no local sem reescrever dados, quando uma transição imediata é aceitável.

Otimização completa do Iceberg com reescrita de dados. Ideal para redesenhar partições ou esquemas ou melhorar o layout e o desempenho. Sempre recomendado, se possível.