Amazon Aurora での OpenSearch Ingestion パイプラインの使用

Amazon Aurora で OpenSearch Ingestion パイプラインを使用して、既存のデータとストリームの変更 (作成、更新、削除など) を Amazon OpenSearch Service ドメインとコレクションにエクスポートできます。OpenSearch Ingestion パイプラインには、変更データキャプチャ (CDC) インフラストラクチャが組み込まれており、Amazon Aurora から継続的にデータをストリーミングするための大規模で低レイテンシーな方法を提供します。Aurora MySQL と Aurora PostgreSQL がサポートされています。

Amazon Aurora をソースとして使用してデータを処理するには、完全な初期スナップショットの有無にかかわらず、2 つの方法があります。完全な初期スナップショットは、指定されたテーブルのスナップショットであり、このスナップショットは Amazon S3 にエクスポートされます。そこから、OpenSearch Ingestion パイプラインによってドメイン内の 1 つのインデックスに送信されるか、またはドメイン内の複数のインデックスにパーティショニングされます。Amazon Aurora と OpenSearch のデータ整合性を維持するために、パイプラインは Amazon Aurora クラスターのテーブル内のすべての作成、更新、削除イベントを OpenSearch インデックスに保存されたドキュメントと同期します。

完全な初期スナップショットを使用する場合、OpenSearch Ingestion パイプラインはまずスナップショットを取り込んでから、Amazon Aurora 変更ストリームからのデータの読み取りを開始します。最終的には Amazon Aurora と OpenSearch 間のほぼリアルタイムのデータ整合性が追いついて維持されます。

OpenSearch Ingestion と Amazon Aurora の統合を使用して、変更データのキャプチャを追跡し、Aurora のすべての更新を OpenSearch に取り込むこともできます。他のメカニズムからの完全なスナップショットがすでにある場合、または Amazon Aurora クラスターのデータに対するすべての変更をキャプチャする場合は、このオプションを選択します。

このオプションを選択する場合は、Aurora MySQL のバイナリログ記録を設定するか、クラスターで Aurora PostgreSQL の論理レプリケーションを設定する必要があります。