Amazon RDS で OpenSearch Ingestion パイプラインの使用

Amazon RDS または Amazon RDS で OpenSearch インジェストパイプラインを使用すると、既存のデータをエクスポートしたり、変更 (作成、アップデート、削除など) を Amazon OpenSearch Service のドメインやコレクションにストリーミングしたりできます。OpenSearch Ingestion パイプラインには変更データキャプチャ (CDC) インフラストラクチャが組み込まれており、Amazon RDS または Amazon RDS からデータを継続的にストリーミングするための大規模で低レイテンシーの方法を提供します。RDS for MySQL と RDS for PostgreSQL がサポートされています。

データを処理するソースとして Amazon RDS を使用するには、完全な初期スナップショットを使用する方法と使用しない方法の 2 つがあります。完全な初期スナップショットは、指定されたテーブルのスナップショットであり、このスナップショットは Amazon S3 にエクスポートされます。そこから、OpenSearch Ingestion パイプラインによってドメイン内の 1 つのインデックスに送信されるか、またはドメイン内の複数のインデックスにパーティショニングされます。Amazon RDS と OpenSearch のデータの整合性を保つために、パイプラインは、Amazon RDS インスタンス内のテーブルで発生する作成、更新、削除のすべてのイベントを、(1 つまたは複数の) OpenSearch インデックスに保存されているドキュメントと同期します。

完全な初期スナップショットを使用する場合、OpenSearch Ingestion パイプラインは、まずスナップショットを取り込んでから、Amazon RDS 変更ストリームからのデータの読み取りを開始します。最終的には追い付いて、Amazon RDS と OpenSearch の間でほぼリアルタイムのデータ整合性を維持します。

OpenSearch Ingestion と Amazon RDS の統合を使用して、変更データのキャプチャを追跡し、Aurora のすべての更新を OpenSearch に取り込むこともできます。他のメカニズムからの完全なスナップショットが既にある場合、または Amazon RDS インスタンスのデータに対するすべての変更をキャプチャする場合は、このオプションを選択します。

このオプションを選択する場合は、Amazon RDS for MySQL バイナリログ記録を設定するか、Amazon RDS for PostgreSQL DB インスタンスの論理レプリケーションを設定する必要があります。