Amazon RDS での OpenSearch Ingestion パイプラインの使用

Amazon RDS で OpenSearch Ingestion パイプラインを使用して、既存のデータやストリームの変更 (作成、更新、削除など) を Amazon OpenSearch Service ドメインとコレクションにエクスポートできます。OpenSearch Ingestion パイプラインには、変更データキャプチャ (CDC) インフラストラクチャが組み込まれており、Amazon RDS から継続的にデータをストリーミングするための大規模で低レイテンシーな方法を提供します。RDS for MySQL と RDS for PostgreSQL がサポートされています。

Amazon RDS をソースとして使用してデータを処理するには、完全な初期スナップショットの有無にかかわらず、2 つの方法があります。完全な初期スナップショットは、指定されたテーブルのスナップショットであり、このスナップショットは Amazon S3 にエクスポートされます。そこから、OpenSearch Ingestion パイプラインによってドメイン内の 1 つのインデックスに送信されるか、またはドメイン内の複数のインデックスにパーティショニングされます。Amazon RDS と OpenSearch のデータ整合性を維持するために、パイプラインは Amazon RDS インスタンスのテーブル内のすべての作成、更新、削除イベントを OpenSearch インデックスに保存されたドキュメントと同期します。

完全な初期スナップショットを使用する場合、OpenSearch Ingestion パイプラインはまずスナップショットを取り込んでから、Amazon RDS 変更ストリームからのデータの読み取りを開始します。最終的には Amazon RDS と OpenSearch 間のほぼリアルタイムのデータ整合性が追いついて維持されます。

OpenSearch Ingestion と Amazon RDS の統合を使用して、変更データのキャプチャを追跡し、Aurora のすべての更新を OpenSearch に取り込むこともできます。他のメカニズムから完全なスナップショットが既にある場合、または Amazon RDS インスタンスのデータに対するすべての変更をキャプチャする場合は、このオプションを選択します。

このオプションを選択する場合は、Amazon RDS for MySQL バイナリログ記録を設定するか、Amazon RDS for PostgresSQL DB インスタンスの論理レプリケーションを設定する必要があります。