Usando um pipeline OpenSearch de ingestão com o Amazon RDS

Você pode usar um pipeline de OpenSearch ingestão com o Amazon RDS para exportar dados existentes e transmitir alterações (como criar, atualizar e excluir) para domínios e coleções do Amazon OpenSearch Service. O pipeline OpenSearch de ingestão incorpora a infraestrutura de captura de dados de alteração (CDC) para fornecer uma forma de alta escala e baixa latência de transmitir dados continuamente do Amazon RDS. O RDS para MySQL e o RDS para PostgreSQL são compatíveis.

Há duas maneiras de usar o Amazon RDS como origem para processar dados: com e sem um snapshot inicial completo. Um snapshot inicial completo é um snapshot das tabelas especificadas, e ele é exportado para o Amazon S3. A partir daí, um pipeline de OpenSearch ingestão o envia para um índice em um domínio ou o particiona em vários índices em um domínio. Para manter os dados no Amazon RDS e OpenSearch consistentes, o pipeline sincroniza todos os eventos de criação, atualização e exclusão nas tabelas nas instâncias do Amazon RDS com os documentos salvos no OpenSearch índice ou índices.

Quando você usa um snapshot inicial completo, seu pipeline de OpenSearch ingestão primeiro ingere o snapshot e depois começa a ler os dados dos fluxos de alteração do Amazon RDS. Eventualmente, ele recupera e mantém a consistência de dados quase em tempo real entre o Amazon RDS e. OpenSearch

Você também pode usar a integração de OpenSearch ingestão com o Amazon RDS para rastrear a captura de dados de alterações e ingerir todas as atualizações no Aurora para. OpenSearch Escolha essa opção se você já tiver um snapshot completo de algum outro mecanismo ou se quiser apenas capturar todas as alterações nos dados em uma instância do Amazon RDS.

Ao escolher essa opção, você precisa configurar o registro em log binário do Amazon RDS para MySQL ou configurar a replicação lógica para a instância do banco de dados do Amazon RDS para PostgresSQL.