View a markdown version of this page

Cara kerja aliran pengambilan data perubahan (CDC) di Amazon Keyspaces - Amazon Keyspaces (untuk Apache Cassandra)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Cara kerja aliran pengambilan data perubahan (CDC) di Amazon Keyspaces

Bagian ini memberikan gambaran umum tentang cara kerja aliran pengambilan data perubahan (CDC) di Amazon Keyspaces.

Amazon Keyspaces change data capture (CDC) merekam urutan modifikasi tingkat baris yang teratur di tabel Amazon Keyspaces dan menyimpan informasi ini dalam log yang disebut aliran hingga 24 jam. Setiap modifikasi tingkat baris menghasilkan catatan CDC baru yang menyimpan informasi kolom kunci utama serta status “sebelum” dan “setelah” dari baris termasuk semua kolom. Aplikasi dapat mengakses aliran dan melihat mutasi dalam waktu hampir real time.

Saat Anda mengaktifkan CDC di meja Anda, Amazon Keyspaces membuat aliran CDC baru dan mulai menangkap informasi tentang setiap modifikasi dalam tabel. Aliran CDC memiliki Nama Sumber Daya Amazon (ARN) dengan format berikut:

arn:${Partition}:cassandra:{Region}:${Account}:/keyspace/${keyspaceName}/table/${tableName}/stream/${streamLabel}

Anda dapat memilih jenis informasi atau jenis tampilan yang dikumpulkan aliran CDC untuk setiap catatan saat pertama kali mengaktifkan aliran CDC. Anda tidak dapat mengubah jenis tampilan streaming sesudahnya. Amazon Keyspaces mendukung jenis tampilan berikut:

  • NEW_AND_OLD_IMAGES— Menangkap versi baris sebelum dan sesudah mutasi. Ini adalah opsi default.

  • NEW_IMAGE— Menangkap versi baris setelah mutasi.

  • OLD_IMAGE— Menangkap versi baris sebelum mutasi.

  • KEYS_ONLY— Menangkap partisi dan kunci pengelompokan dari baris yang bermutasi.

Setiap aliran CDC terdiri dari catatan. Setiap catatan mewakili modifikasi baris tunggal dalam tabel Amazon Keyspaces. Catatan secara logis diatur ke dalam kelompok-kelompok yang dikenal sebagai pecahan. Kelompok-kelompok ini secara logis diatur oleh rentang kunci utama (kombinasi kunci partisi, rentang kunci pengelompokan) dan merupakan konstruksi internal Amazon Keyspaces. Setiap pecahan bertindak sebagai wadah untuk beberapa catatan, dan berisi informasi yang diperlukan untuk mengakses dan mengulangi melalui catatan ini.

Aliran CDC Amazon Keyspaces terdiri dari pecahan yang mewakili catatan CDC dari kumpulan mutasi baris.

Setiap catatan CDC diberi nomor urut, yang mencerminkan urutan penerbitan catatan dalam pecahan. Nomor urutan dijamin akan meningkat dan unik dalam setiap pecahan.

Amazon Keyspaces membuat dan menghapus pecahan secara otomatis. Berdasarkan beban lalu lintas Amazon Keyspace juga dapat membagi atau menggabungkan pecahan dari waktu ke waktu. Misalnya, Amazon Keyspaces dapat membagi satu pecahan menjadi beberapa pecahan baru atau menggabungkan pecahan menjadi pecahan tunggal baru. API Amazon Keyspaces menerbitkan informasi aliran shard dan CDC untuk memungkinkan aplikasi yang dikonsumsi memproses catatan dalam urutan yang benar dengan mengakses seluruh grafik garis keturunan pecahan.

Amazon Keyspaces CDC didasarkan pada prinsip-prinsip berikut yang dapat Anda andalkan saat membuat aplikasi Anda:

  • Setiap catatan mutasi tingkat baris muncul tepat sekali di aliran CDC.

  • Saat Anda mengonsumsi pecahan dalam urutan garis keturunan, setiap catatan mutasi tingkat baris muncul dalam urutan yang sama dengan urutan mutasi aktual pada kunci utama.

Cara kerja retensi data untuk aliran CDC di Amazon Keyspaces

Amazon Keyspaces menyimpan catatan dalam aliran CDC selama 24 jam. Anda tidak dapat mengubah periode retensi. Jika Anda menonaktifkan CDC pada tabel, data dalam streaming akan terus dibaca selama 24 jam. Setelah waktu ini, data kedaluwarsa dan catatan dihapus secara otomatis.

Cara kerja kedaluwarsa data Time to Live (TTL) dengan aliran CDC di Amazon Keyspaces

Ruang Kunci Amazon menunjukkan waktu kedaluwar column/cell sa di level serta tingkat baris di bidang metadata yang dipanggil expirationTime dalam catatan perubahan CDC. Saat Amazon Keyspaces TTL mendeteksi kedaluwarsa sel, CDC membuat catatan perubahan baru yang menunjukkan TTL sebagai asal perubahan. Untuk informasi lebih lanjut tentang TTL, lihatData kedaluwarsa dengan Time to Live (TTL) untuk Amazon Keyspaces (untuk Apache Cassandra).

Cara kerja operasi batch untuk aliran CDC di Amazon Keyspaces

Operasi batch secara internal dibagi menjadi modifikasi tingkat baris individu. Amazon Keyspaces menyimpan semua catatan dalam aliran CDC di tingkat baris, bahkan jika modifikasi terjadi dalam operasi batch. Amazon Keyspaces memelihara urutan catatan dalam aliran CDC dalam urutan yang sama dengan urutan mutasi yang terjadi di tingkat baris atau pada kunci utama.

Cara kerja kolom statis di aliran CDC di Amazon Keyspaces

Nilai kolom statis dibagikan di antara semua baris dalam partisi di Cassandra. Karena perilaku ini, Amazon Keyspaces menangkap pembaruan apa pun ke kolom statis sebagai catatan terpisah di aliran CDC. Contoh berikut merangkum perilaku mutasi kolom statis:

  • Ketika hanya kolom statis yang diperbarui, aliran CDC berisi modifikasi baris untuk kolom statis sebagai satu-satunya kolom di baris.

  • Ketika baris diperbarui tanpa perubahan pada kolom statis, aliran CDC berisi modifikasi baris yang berisi semua kolom kecuali kolom statis.

  • Ketika baris diperbarui bersama dengan kolom statis, aliran CDC berisi dua modifikasi baris terpisah, satu untuk kolom statis dan yang lainnya untuk sisa baris.

Cara kerja enkripsi saat istirahat untuk aliran CDC di Amazon Keyspaces

Untuk mengenkripsi data diam di log pesanan CDC, Amazon Keyspaces menggunakan kunci enkripsi yang sama yang sudah digunakan untuk tabel. Untuk informasi selengkapnya tentang enkripsi diam, lihat Enkripsi saat istirahat di Amazon Keyspaces.

Cara kerja replikasi multi-wilayah untuk aliran CDC di Amazon Keyspaces

Anda dapat mengaktifkan dan menonaktifkan aliran CDC untuk replika individual tabel Multi-wilayah dengan menggunakan update-table API atau perintah ALTER TABLE CQL. Karena replikasi asinkron dan resolusi konflik, aliran CDC untuk tabel Multi-wilayah tidak konsisten di seluruh. Wilayah AWS Oleh karena itu, catatan yang diambil Amazon Keyspaces dalam streaming mungkin muncul dalam urutan yang berbeda di Wilayah yang berbeda.

Untuk informasi selengkapnya tentang replikasi multi-wilayah, lihatMulti-Region replikasi untuk Amazon Keyspaces (untuk Apache Cassandra).

Aliran CDC dan integrasi dengan AWS layanan

Cara bekerja dengan titik akhir VPC untuk aliran CDC di Amazon Keyspaces

Anda dapat menggunakan titik akhir VPC untuk mengakses aliran CDC Amazon Keyspaces. Untuk informasi tentang cara membuat dan mengakses titik akhir VPC untuk aliran, lihat. Menggunakan Amazon Keyspaces CDC stream dengan antarmuka VPC endpoint

Cara kerja pemantauan dengan CloudWatch untuk aliran CDC di Amazon Keyspaces

Anda dapat menggunakan Amazon CloudWatch untuk memantau panggilan API yang dilakukan ke titik akhir Amazon Keyspaces CDC. Untuk informasi selengkapnya tentang metrik yang tersedia, lihatMetrik untuk Amazon Keyspaces mengubah pengambilan data (CDC).

Cara kerja logging dengan CloudTrail untuk aliran CDC di Amazon Keyspaces

Amazon Keyspaces CDC terintegrasi dengan AWS CloudTrail, layanan yang menyediakan catatan tindakan yang diambil oleh pengguna, peran, atau AWS layanan di Amazon Keyspaces. CloudTrail menangkap panggilan API Data Definition Language (DDL) dan panggilan API Data Manipulation Language (DML) untuk Amazon Keyspaces sebagai peristiwa. Panggilan yang ditangkap termasuk panggilan dari konsol Amazon Keyspaces dan panggilan terprogram ke operasi API Amazon Keyspaces.

Untuk informasi lebih lanjut tentang peristiwa CDC yang ditangkap oleh CloudTrail, lihatMencatat panggilan API Amazon Keyspaces dengan AWS CloudTrail.

Cara kerja penandaan untuk aliran CDC di Amazon Keyspaces

Amazon Keyspaces Aliran CDC adalah sumber daya yang dapat ditandai. Anda dapat menandai aliran saat membuat tabel secara terprogram menggunakan CQL, AWS SDK, atau. AWS CLI Anda juga dapat menandai aliran yang ada, menghapus tag, atau melihat tag aliran. Lihat informasi yang lebih lengkap di Tandai ruang kunci, tabel, dan aliran di Amazon Keyspaces.