Utilisation d'un pipeline OpenSearch d'ingestion avec Amazon Aurora

Vous pouvez utiliser un pipeline d' OpenSearch ingestion avec Amazon Aurora pour exporter les données existantes et diffuser les modifications (telles que la création, la mise à jour et la suppression) vers les domaines et les collections Amazon OpenSearch Service. Le pipeline OpenSearch d'ingestion intègre une infrastructure de capture des données modifiées (CDC) afin de fournir un moyen à grande échelle et à faible latence de diffuser en continu des données depuis Amazon Aurora. Aurora MySQL et Aurora PostgreSQL sont pris en charge.

Vous pouvez utiliser Amazon Aurora comme source pour traiter les données de deux manières : avec ou sans capture initiale complète. Un instantané initial complet est un instantané des tables spécifiées et cet instantané est exporté vers Amazon S3. À partir de là, un pipeline d' OpenSearch ingestion l'envoie vers un index d'un domaine ou le partitionne en plusieurs index d'un domaine. Pour garantir la OpenSearch cohérence des données dans Amazon Aurora, le pipeline synchronise tous les événements de création, de mise à jour et de suppression dans les tables des clusters Amazon Aurora avec les documents enregistrés dans l' OpenSearch index ou les index.

Lorsque vous utilisez un instantané initial complet, votre pipeline d' OpenSearch ingestion ingère d'abord l'instantané, puis commence à lire les données des flux de modifications d'Amazon Aurora. Il finit par rattraper son retard et assure la cohérence des données en temps quasi réel entre Amazon Aurora et OpenSearch.

Vous pouvez également utiliser l'intégration d' OpenSearch ingestion avec Amazon Aurora pour suivre la capture des données de modification et intégrer toutes les mises à jour dans Aurora vers OpenSearch. Choisissez cette option si vous disposez déjà d'un instantané complet issu d'un autre mécanisme, ou si vous souhaitez simplement capturer toutes les modifications apportées aux données dans le cluster Amazon Aurora.

Lorsque vous choisissez cette option, vous devez configurer la journalisation binaire pour Aurora MySQL ou configurer la réplication logique pour Aurora PostgreSQL sur le cluster.