Resumen de las opciones de migración - AWS Guía prescriptiva

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Resumen de las opciones de migración

En esta tabla se resumen las principales características y consideraciones de cada opción de migración.

Característica

Migración in situ

instantánea

Migración in situ

migrate

Migración completa de datos

CTAS o (CREAR TABLA + INSERTAR)

Mejoras en el diseño de los datos como parte del proceso de migración

  • Reordenar los datos

No

No

Sí

  • Cambie la partición (por ejemplo, para usar la partición oculta de Iceberg)

No

No

Sí

  • Cambie el esquema de la tabla

No

No

Sí

  • Optimiza el tamaño del archivo

No

No

Sí

  • Valide el esquema de los datos existentes antes de añadirlos

No

No

Sí

Formatos de archivo compatibles

Parquet, Avro, ORC

Parquet, Avro, ORC

Parquet, Avro, ORC, JSON, CSV

Sustitución de la tabla fuente por una tabla Iceberg

No

(crea una tabla nueva, pero con pasos adicionales puede reemplazar la tabla de origen)

Sí

(crea una tabla de respaldo y sustituye la tabla de origen por una tabla Iceberg)

No

(crea una tabla nueva)

Impacto en la tabla de origen

  • Operaciones de eliminación de archivos en la tabla Iceberg (expire_snapshot operaciones, eliminación de una tabla con purga)

Corrompe la tabla de fuentes

Daña la tabla de respaldo

Seguro, la fuente no se ve afectada

Impacto en una mesa de iceberg

  • Impacto si se eliminan los archivos de la tabla fuente

Daña la tabla Iceberg

Corrompe la mesa Iceberg

No afecta a la mesa Iceberg

  • Impacto si se añaden nuevos archivos en la ubicación de la tabla de origen

No está visible en la tabla nueva

(es necesario incorporar una partición conadd_files)

No está visible en la nueva tabla

(es necesario incorporar una partición conadd_files)

No está visible en la nueva tabla

(necesito INSERT INTO la nueva mesa)

Costo

Bajo

Bajo

Más alto (reescritura completa de los datos)

Velocidad de migración

Rápido

Rápido

Más lento

Se puede usar para migrar a Amazon S3 Tables

No

No

Sí

Requiere un DDL manual

No

(el esquema y las particiones se copian de la tabla fuente)

No

(el esquema y las particiones se copian de la tabla fuente)

Si usa CTAS, solo requiere especificar la partición

El mejor uso

Migración rápida sin reescribir los datos, lo que permite side-by-side utilizar Hive e Iceberg para realizar pruebas o realizar una transición gradual.

Sustituir una tabla de Hive sin tener que volver a escribir los datos cuando sea aceptable un cambio inmediato.

Optimización completa de Iceberg con reescritura de datos. Ideal para rediseñar particiones o esquemas, o para mejorar el diseño y el rendimiento. Se recomienda siempre que sea posible.