Menggunakan pipa OpenSearch Ingestion dengan Amazon Aurora

Anda dapat menggunakan saluran OpenSearch Ingestion dengan Amazon Aurora untuk mengekspor data yang ada dan mengalirkan perubahan (seperti membuat, memperbarui, dan menghapus) ke domain dan koleksi Layanan OpenSearch Amazon. Pipeline OpenSearch Ingestion menggabungkan infrastruktur change data capture (CDC) untuk menyediakan cara berskala tinggi dan latensi rendah untuk terus mengalirkan data dari Amazon Aurora. Aurora MySQL dan Aurora PostgreSQL didukung.

Ada dua cara agar Anda dapat menggunakan Amazon Aurora sebagai sumber untuk memproses data—dengan atau tanpa snapshot awal lengkap. Snapshot awal lengkap adalah snapshot dari tabel tertentu dan snapshot ini diekspor ke Amazon S3. Dari sana, pipa OpenSearch Ingestion mengirimkannya ke satu indeks dalam domain, atau mempartisinya ke beberapa indeks dalam domain. Untuk menjaga data di Amazon Aurora dan OpenSearch konsisten, pipeline menyinkronkan semua peristiwa buat, perbarui, dan hapus di tabel di cluster Amazon Aurora dengan dokumen yang disimpan dalam indeks atau indeks. OpenSearch

Saat Anda menggunakan snapshot awal lengkap, pipeline OpenSearch Ingestion Anda pertama-tama akan menyerap snapshot dan kemudian mulai membaca data dari aliran perubahan Amazon Aurora. Ini akhirnya mengejar dan mempertahankan konsistensi data hampir real-time antara Amazon Aurora OpenSearch dan.

Anda juga dapat menggunakan integrasi OpenSearch Ingestion dengan Amazon Aurora untuk melacak pengambilan data perubahan dan menelan semua pembaruan di Aurora ke. OpenSearch Pilih opsi ini jika Anda sudah memiliki snapshot lengkap dari beberapa mekanisme lain, atau jika Anda hanya ingin menangkap semua perubahan pada data di cluster Amazon Aurora.

Ketika Anda memilih opsi ini, Anda perlu mengkonfigurasi logging biner untuk Aurora MySQL atau mengatur replikasi logis untuk Aurora PostgreSQL di cluster.