Menggunakan pipeline OpenSearch Ingestion dengan Amazon RDS

Anda dapat menggunakan pipeline OpenSearch Ingestion dengan Amazon RDS untuk mengekspor data yang ada dan mengalirkan perubahan (seperti membuat, memperbarui, dan menghapus) ke domain dan koleksi OpenSearch Layanan Amazon. Pipeline OpenSearch Ingestion menggabungkan infrastruktur change data capture (CDC) untuk menyediakan cara berskala tinggi dan latensi rendah untuk terus mengalirkan data dari Amazon RDS. RDS untuk MySQL dan RDS untuk PostgreSQL didukung.

Ada dua cara agar Anda dapat menggunakan Amazon RDS sebagai sumber untuk memproses data—dengan atau tanpa snapshot awal lengkap. Snapshot awal lengkap adalah snapshot dari tabel tertentu dan snapshot ini diekspor ke Amazon S3. Dari sana, pipa OpenSearch Ingestion mengirimkannya ke satu indeks dalam domain, atau mempartisinya ke beberapa indeks dalam domain. Untuk menjaga data di Amazon RDS dan OpenSearch konsisten, pipeline menyinkronkan semua peristiwa buat, perbarui, dan hapus dalam tabel di instans Amazon RDS dengan dokumen yang disimpan dalam indeks atau indeks. OpenSearch

Saat Anda menggunakan snapshot awal lengkap, pipeline OpenSearch Ingestion Anda pertama-tama akan menyerap snapshot dan kemudian mulai membaca data dari aliran perubahan Amazon RDS. Ini akhirnya mengejar dan mempertahankan konsistensi data hampir real-time antara Amazon RDS dan. OpenSearch

Anda juga dapat menggunakan integrasi OpenSearch Ingestion dengan Amazon RDS untuk melacak pengambilan data perubahan dan menelan semua pembaruan di Aurora ke. OpenSearch Pilih opsi ini jika Anda sudah memiliki snapshot lengkap dari beberapa mekanisme lain, atau jika Anda hanya ingin menangkap semua perubahan pada data dalam instance Amazon RDS.

Ketika Anda memilih opsi ini, Anda perlu mengonfigurasi Amazon RDS untuk pencatatan biner MySQL atau mengatur replikasi logis untuk Amazon RDS untuk instance PostgressQL DB.