将 OpenSearch Ingestion 管道与 Amazon RDS 结合使用
您可以将 OpenSearch Ingestion 管道与 Amazon RDS 结合使用,以导出现有数据,并将更改(例如创建、更新和删除)流式传输到 Amazon OpenSearch Service 域和集合。OpenSearch Ingestion 管道整合更改数据捕获(CDC)基础设施,为持续流式传输来自 Amazon RDS 的数据提供一种大规模、低延迟的方式。支持 RDS for MySQL 和 RDS for PostgreSQL
您可以通过两种方式将 Amazon RDS 作为处理数据的来源:有或没有完整初始快照。完整初始快照是指定表的快照,此快照将导出至 Amazon S3。从那里,OpenSearch Ingestion 管道将其发送到域中的一个索引,或者将其分区到域中的多个索引。为保持 Amazon RDS 和 OpenSearch 中的数据一致,该管道会将 Amazon RDS 实例中表内所有创建、更新和删除事件与一个或多个 OpenSearch 索引中保存的文档同步。
使用完整初始快照时,OpenSearch Ingestion 管道会首先摄取该快照,然后开始从 Amazon RDS 更改流中读取数据。管道最终会赶上并保持 Amazon RDS 和 OpenSearch 之间近乎实时的数据一致性。
您还可以使用 OpenSearch Ingestion 与 Amazon RDS 的集成,跟踪更改数据捕获,并将 Aurora 中的所有更新摄取到 OpenSearch。如果您已通过其他机制获取完整快照,或仅需捕获 Amazon RDS 实例中数据的所有更改,则选择此选项。
选择此选项时,您需要配置 Amazon RDS for MySQL 二进制日志记录或为 Amazon RDS for PostgresSQL 数据库实例设置逻辑复制。