Utilisation d'un pipeline OpenSearch d'ingestion avec Amazon RDS

Vous pouvez utiliser un pipeline d' OpenSearch ingestion avec Amazon RDS pour exporter les données existantes et diffuser les modifications (telles que la création, la mise à jour et la suppression) vers les domaines et les collections Amazon OpenSearch Service. Le pipeline OpenSearch d'ingestion intègre une infrastructure de capture des données modifiées (CDC) afin de fournir un moyen à grande échelle et à faible latence de diffuser en continu des données depuis Amazon RDS. RDS pour MySQL et RDS pour PostgreSQL sont pris en charge.

Vous pouvez utiliser Amazon RDS comme source pour traiter les données de deux manières : avec ou sans capture initiale complète. Un instantané initial complet est un instantané des tables spécifiées et cet instantané est exporté vers Amazon S3. À partir de là, un pipeline d' OpenSearch ingestion l'envoie vers un index d'un domaine ou le partitionne en plusieurs index d'un domaine. Pour garantir la OpenSearch cohérence des données dans Amazon RDS, le pipeline synchronise tous les événements de création, de mise à jour et de suppression dans les tables des instances Amazon RDS avec les documents enregistrés dans l'index ou les OpenSearch index.

Lorsque vous utilisez un instantané initial complet, votre pipeline d' OpenSearch ingestion ingère d'abord l'instantané, puis commence à lire les données des flux de modifications Amazon RDS. Il finit par rattraper son retard et maintient la cohérence des données en temps quasi réel entre Amazon RDS et OpenSearch.

Vous pouvez également utiliser l'intégration d' OpenSearch ingestion avec Amazon RDS pour suivre la capture des données de modification et intégrer toutes les mises à jour dans Aurora pour. OpenSearch Choisissez cette option si vous disposez déjà d'un instantané complet d'un autre mécanisme, ou si vous souhaitez simplement capturer toutes les modifications apportées aux données dans une instance Amazon RDS.

Lorsque vous choisissez cette option, vous devez configurer la journalisation binaire Amazon RDS pour MySQL ou configurer la réplication logique pour l'instance de base de données Amazon RDS pour PostgressSQL.