Migrasi data lengkap - AWS Bimbingan Preskriptif

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Migrasi data lengkap

Migrasi data lengkap membuat ulang file data serta metadata. Pendekatan ini membutuhkan waktu lebih lama dan membutuhkan sumber daya komputasi tambahan dibandingkan dengan migrasi di tempat. Namun, migrasi data penuh menawarkan peluang signifikan untuk meningkatkan kualitas tabel dan mengoptimalkan penyimpanan data dan pola akses.

Selama migrasi data penuh, Anda dapat melakukan beberapa operasi yang bermanfaat, seperti validasi data untuk memastikan integritas dan kebenaran, modifikasi skema untuk memenuhi persyaratan saat ini dengan lebih baik, dan penyesuaian strategi partisi untuk meningkatkan kinerja kueri. Anda juga dapat mengurutkan ulang data untuk mengoptimalkan pola akses umum, menerapkan partisi tersembunyi Iceberg untuk meningkatkan efisiensi kueri, dan melakukan konversi format file (misalnya, dari CSV ke Parket) jika diinginkan.

Kemampuan ini membuat migrasi data lengkap ideal untuk transisi ke format Iceberg dan untuk menyempurnakan dan mengoptimalkan strategi penyimpanan data Anda secara komprehensif. Meskipun migrasi data penuh membutuhkan lebih banyak waktu dan sumber daya di muka, peningkatan yang dihasilkan dalam kualitas data, organisasi, dan kinerja kueri dapat memberikan manfaat jangka panjang. Untuk menerapkan migrasi data lengkap, gunakan salah satu opsi berikut:

  • Gunakan pernyataan CREATE TABLE ... AS SELECT (CTAS) di Spark (di Amazon EMR atau) AWS Glue atau di Athena. Anda dapat mengatur spesifikasi partisi dan properti tabel untuk tabel Iceberg baru dengan menggunakan klausa PARTITIONED BY andTBLPROPERTIES. Anda dapat mengubah skema dan partisi untuk tabel baru sesuai dengan kebutuhan Anda alih-alih mewarisinya dari tabel sumber.

  • Baca dari tabel sumber dan tulis data sebagai tabel Iceberg baru dengan menggunakan Spark di Amazon EMR atau. AWS Glue Untuk informasi selengkapnya, lihat Membuat tabel di dokumentasi Gunung Es.