Usar um pipeline do OpenSearch Ingestion com o Amazon RDS

Você pode usar um pipeline do OpenSearch Ingestion com o Amazon RDS para exportar dados existentes e transmitir continuamente alterações (como criar, atualizar e excluir) para domínios e coleções do Amazon OpenSearch Service. O pipeline do OpenSearch Ingestion incorpora a infraestrutura de captura de dados alterados (CDC) com o objetivo de oferecer um método de grande escala e baixa latência para transmitir continuamente dados do Amazon RDS. O RDS para MySQL e o RDS para PostgreSQL são compatíveis.

Há duas maneiras de usar o Amazon RDS como origem para processar dados: com e sem um snapshot inicial completo. Um snapshot inicial completo é um snapshot das tabelas especificadas, e ele é exportado para o Amazon S3. De lá, um pipeline do OpenSearch Ingestion o envia para um índice em um domínio ou o particiona em vários índices em um domínio. Para manter os dados do Amazon RDS e do OpenSearch consistentes, o pipeline sincroniza todos os eventos de criação, atualização e exclusão em instâncias do Amazon RDS com os documentos salvos em um ou mais índices do OpenSearch.

Quando você usa um snapshot inicial completo, o pipeline do OpenSearch Ingestion primeiro ingere esse snapshot e depois começa a ler os dados de fluxos de alterações do Amazon RDS. Depois de algum tempo, ele recupera o atraso e mantém a consistência de dados entre o Amazon RDS e o OpenSearch quase em tempo real.

Também é possível usar a integração do OpenSearch Ingestion com o Amazon RDS para a acompanhar a captura de dados alterados e ingerir todas as atualizações do Aurora no OpenSearch. Escolha essa opção se você já tiver um snapshot completo de algum outro mecanismo ou se quiser apenas capturar todas as alterações nos dados em uma instância do Amazon RDS.

Ao escolher essa opção, você precisa configurar o registro em log binário do Amazon RDS para MySQL ou configurar a replicação lógica para a instância do banco de dados do Amazon RDS para PostgresSQL.