GenerativeAI での取得拡張生成のためのリアルタイムストリーミングの探索

変更データキャプチャ (CDC) のデータソースには、Oracle、SQL Server、MySQL、PostgreSQL、Amazon Aurora、Amazon RDS などのオンプレミスまたは AWS データベースが含まれ、すべてのデータが取得拡張生成 (RAG) モデルにファネルされます。

AWS Database Migration Service および Amazon MSK Connect with Debezium コネクタは、データベースの 1 回限りのデータ移行と継続的なデータレプリケーションに役立ちます。AWS Database Migration Service および Amazon MSK Connect with Debezium コネクタは、ソースデータベースから変更をキャプチャしてストリーミングし、キャプチャされたのと同じ順序でターゲットに適用します。

AWS Database Migration Service と Amazon MSK Connect with Debezium コネクタを使用すると、Amazon Kinesis Data Streams または Amazon Managed Streaming for Apache Kafka (Amazon MSK) へのデータのストリーミングが可能になり、大規模なストリームの収集と処理が容易になります。

AWS Glue Spark Streaming と Amazon Managed Service for Apache Flink を利用することで、データ消費要件を満たすための特殊なデータ処理パイプラインを構築できます。

データシンクサービスとして機能する AWS Lambda、Amazon Kinesis Data Firehose、Amazon MSK Connect を使用すると、Data Lake や Amazon Redshift などの宛先にソースデータを直接転送できます。

pgvector、Amazon Opensearch、Amazon DocumentDB で Amazon Aurora PostgreSQL を利用すると、ベクトル埋め込みを生成して、効率的なデータ取得、ベクトル表現管理、スケーラビリティ、リアルタイム推論機能を実現できます。 Amazon DocumentDB

Amazon SageMaker と Amazon Bedrock は、コーパス内の関連情報を検出し、ベクトル化されたドメイン固有のデータセットに対して類似度検索を実行し、このデータを生成モデルの入力として使用する手段を提供します。

ユーザープロファイルと会話履歴を維持するために、Amazon DocumentDB、Amazon DynamoDB、Amazon MemoryDB には適切なオプションが用意されています。

Amazon Redshift サービスを活用してデータの永続性を確保し、生成 AI RAG モデルのデータ入力を強化します。

RAG アプリケーションの仕組みの詳細については、「検索拡張生成 (RAG)」を参照してください。