View a markdown version of this page

Migrasi data menggunakan penangkapan data perubahan (CDC) - Amazon Keyspaces (untuk Apache Cassandra)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Migrasi data menggunakan penangkapan data perubahan (CDC)

Jika Anda sudah terbiasa mengonfigurasi pipeline change data capture (CDC) dengan Debezium, Anda dapat menggunakan opsi ini untuk memigrasikan data ke Amazon Keyspaces sebagai alternatif untuk menggunakan CQLReplicator. Debezium adalah platform open source dan terdistribusi untuk CDC, yang dirancang untuk memantau database dan menangkap perubahan tingkat baris dengan andal.

Konektor Debezium untuk Apache Cassandra mengungg ah perubahan ke Amazon Managed Streaming untuk Apache Kafka (Amazon MSK) sehingga dapat dikonsumsi dan diproses oleh konsumen hilir yang pada gilirannya menulis data ke Amazon Keyspaces. Untuk informasi selengkapnya, lihat Panduan untuk migrasi data berkelanjutan dari Apache Cassandra ke Amazon Key spaces.

Untuk mengatasi masalah konsistensi data potensial, Anda dapat menerapkan proses dengan Amazon MSK di mana konsumen membandingkan kunci atau partisi di Cassandra dengan yang ada di Amazon Keyspaces.

Untuk menerapkan solusi ini dengan sukses, kami sarankan untuk mempertimbangkan hal berikut.

  • Cara mengurai log komit CDC, misalnya cara menghapus peristiwa duplikat.

  • Cara memelihara direktori CDC, misalnya cara menghapus log lama.

  • Cara menangani kegagalan parSIAL di Apache Cassandra, misalnya jika penulisan hanya berhasil dalam satu dari tiga replika.

  • Cara menangani alokasi sumber daya, misalnya meningkatkan ukuran instance untuk memperhitungkan persyaratan CPU, memori, DISK, dan IO tambahan untuk proses CDC yang terjadi pada node.

Pola ini memperlakukan perubahan dari Cassandra sebagai “petunjuk” bahwa kunci mungkin telah berubah dari keadaan sebelumnya. Untuk menentukan apakah ada perubahan untuk disebarkan ke database tujuan, Anda harus terlebih dahulu membaca dari cluster sumber Cassandra menggunakan LOCAL_QUORUM operasi untuk menerima catatan terbaru dan kemudian menuliskannya ke Amazon Keyspaces.

Dalam kasus penghapusan rentang atau pembaruan rentang, Anda mungkin perlu melakukan perbandingan terhadap seluruh partisi untuk menentukan peristiwa penulisan atau pembaruan mana yang perlu ditulis ke database tujuan Anda.

Dalam kasus di mana penulisan tidak berpotensi, Anda juga perlu membandingkan tulisan Anda dengan apa yang sudah ada di database tujuan sebelum menulis ke Amazon Keyspaces.

Diagram berikut menunjukkan arsitektur khas pipa CDC menggunakan Debezium dan Amazon MSK.

Menggunakan saluran pengambilan data perubahan untuk memigrasikan data dari Apache Cassandra ke Amazon Keyspaces.