View a markdown version of this page

Proses migrasi offline: Apache Cassandra ke Amazon Keyspaces - Amazon Keyspaces (untuk Apache Cassandra)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Proses migrasi offline: Apache Cassandra ke Amazon Keyspaces

Migrasi offline cocok jika Anda mampu membayar downtime untuk melakukan migrasi. Adalah umum di antara perusahaan untuk memiliki jendela pemeliharaan untuk tambalan, rilis besar, atau downtime untuk peningkatan perangkat keras atau peningkatan besar. Migrasi offline dapat menggunakan jendela ini untuk menyalin data dan mengalihkan lalu lintas aplikasi dari Apache Cassandra ke Amazon Keyspaces.

Migrasi offline mengurangi modifikasi pada aplikasi karena tidak memerlukan komunikasi ke Cassandra dan Amazon Keyspaces secara bersamaan. Selain itu, dengan aliran data dijeda, keadaan yang tepat dapat disalin tanpa mempertahankan mutasi.

Dalam contoh ini, kami menggunakan Amazon Simple Storage Service (Amazon S3) sebagai area pementasan untuk data selama migrasi offline untuk meminimalkan waktu henti. Anda dapat secara otomatis mengimpor data yang Anda simpan dalam format Parquet di Amazon S3 ke tabel Amazon Keyspaces menggunakan konektor Spark Cassandra dan. AWS Glue Bagian berikut akan menunjukkan ikhtisar tingkat tinggi dari proses tersebut. Anda dapat menemukan contoh kode untuk proses ini di Github.

Proses migrasi offline dari Apache Cassandra ke Amazon Keyspaces menggunakan Amazon S3 dan AWS Glue memerlukan pekerjaan berikut AWS Glue .

  1. Pekerjaan ETL yang mengekstrak dan mengubah data CQL dan menyimpannya dalam bucket Amazon S3.

  2. Pekerjaan kedua yang mengimpor data dari bucket ke Amazon Keyspaces.

  3. Pekerjaan ketiga untuk mengimpor data tambahan.

Cara melakukan migrasi offline ke Amazon Keyspaces dari Cassandra yang berjalan di Amazon EC2 di Amazon Virtual Private Cloud

  1. Pertama, Anda gunakan AWS Glue untuk mengekspor data tabel dari Cassandra dalam format Parquet dan menyimpannya ke bucket Amazon S3. Anda perlu menjalankan AWS Glue pekerjaan menggunakan AWS Glue konektor ke VPC tempat instans Amazon EC2 yang menjalankan Cassandra berada. Kemudian, menggunakan titik akhir pribadi Amazon S3, Anda dapat menyimpan data ke bucket Amazon S3.

    Diagram berikut menggambarkan langkah-langkah ini.

    Memigrasikan data Apache Cassandra dari Amazon EC2 yang berjalan di VPC ke bucket Amazon S3 menggunakan. AWS Glue

  2. Kocokkan data di bucket Amazon S3 untuk meningkatkan pengacakan data. Data yang diimpor secara merata memungkinkan lebih banyak lalu lintas terdistribusi di tabel target.

    Langkah ini diperlukan saat mengekspor data dari Cassandra dengan partisi besar (partisi dengan lebih dari 1000 baris) untuk menghindari pola tombol pintas saat memasukkan data ke Amazon Keyspaces. Masalah tombol pintas terjadi WriteThrottleEvents di Amazon Keyspaces dan mengakibatkan peningkatan waktu muat.

    Pekerjaan AWS Glue mengacak data dari bucket Amazon S3 dan mengembalikannya ke bucket Amazon S3 lainnya.

  3. Gunakan AWS Glue pekerjaan lain untuk mengimpor data dari bucket Amazon S3 ke Amazon Keyspaces. Data yang dikoyak di bucket Amazon S3 disimpan dalam format Parquet.

    Pekerjaan AWS Glue impor mengambil data yang diacak dari bucket Amazon S3 dan memindahkannya ke tabel Amazon Keyspaces.

Untuk informasi selengkapnya tentang proses migrasi offline, lihat workshop Amazon Keyspaces with AWS Glue