Riepilogo delle opzioni di migrazione - AWS Guida prescrittiva

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Riepilogo delle opzioni di migrazione

Questa tabella riassume le caratteristiche e le considerazioni principali per ciascuna opzione di migrazione.

Funzionalità

Migrazione sul posto

snapshot

Migrazione sul posto

migrate

Migrazione completa dei dati

CTAS o (CREATE TABLE + INSERT)

Miglioramenti del layout dei dati come parte del processo di migrazione

  • Riordina i dati

No

No

Sì

  • Modifica il partizionamento (ad esempio, per utilizzare il partizionamento nascosto di Iceberg)

No

No

Sì

  • Cambia lo schema della tabella

No

No

Sì

  • Ottimizza le dimensioni del file

No

No

Sì

  • Convalida lo schema dei dati esistenti prima di aggiungerli

No

No

Sì

Formati di file supportati

Parquet, Avro, ORC

Parquet, Avro, ORC

Parquet, Avro, ORC, JSON, CSV

Sostituzione della tabella Source con una tabella Iceberg

No

(crea una nuova tabella, ma con passaggi aggiuntivi è possibile sostituire la tabella di origine)

Sì

(crea una tabella di backup e sostituisce la tabella di origine con una tabella Iceberg)

No

(crea una nuova tabella)

Impatto sulla tabella di origine

  • Operazioni di eliminazione dei file sulla tabella Iceberg (expire_snapshot operazioni, eliminazione di una tabella con eliminazione)

Corrompe la tabella di origine

Corrompe la tabella di backup

Sicuro, fonte inalterata

Impatto del tavolo Iceberg

  • Impatto della rimozione dei file della tabella di origine

Corrompe la tabella Iceberg

Corrompe la tabella Iceberg

Nessun impatto sulla tabella Iceberg

  • Impatto se vengono aggiunti nuovi file sulla posizione della tabella di origine

Non visibile nella nuova tabella

(è necessario incorporare la partizione conadd_files)

Non visibile sulla nuova tabella

(è necessario incorporare la partizione conadd_files)

Non visibile sulla nuova tabella

(è necessario INSERT INTO il nuovo tavolo)

Costo

Bassa

Bassa

Superiore (riscrittura completa dei dati)

Velocità di migrazione

Veloce

Veloce

Più lenta

Può essere usato per migrare alle tabelle Amazon S3

No

No

Sì

Richiede DDL manuale

No

(lo schema e le partizioni vengono copiati dalla tabella sorgente)

No

(lo schema e le partizioni vengono copiati dalla tabella di origine)

Se si utilizza CTAS, è necessario specificare solo il partizionamento

Miglior utilizzo

Migrazione rapida senza riscrivere i dati, che consente side-by-side l'uso di Hive e Iceberg per test o transizioni graduali.

Sostituzione di una tabella Hive senza riscrivere i dati, quando è accettabile un passaggio immediato.

Ottimizzazione completa di Iceberg con riscrittura dei dati. Ideale per riprogettare partizioni o schemi o migliorare il layout e le prestazioni. Sempre consigliato, se possibile.