Amazon RDS에서 OpenSearch Ingestion 파이프라인 사용

Amazon RDS와 함께 OpenSearch Ingestion 파이프라인을 사용하여 기존 데이터를 내보내고 변경 사항(예: 생성, 업데이트 및 삭제)을 Amazon OpenSearch Service 도메인 및 컬렉션으로 스트리밍할 수 있습니다. OpenSearch Ingestion 파이프라인은 변경 데이터 캡처(CDC) 인프라를 통합하여 Amazon RDS에서 데이터를 지속적으로 스트리밍할 수 있는 지연 시간이 짧은 대규모 방법을 제공합니다. RDS for MySQL 및 RDS for PostgreSQL이 지원됩니다.

Amazon RDS를 원본으로 사용하여 전체 초기 스냅샷을 사용하거나 사용하지 않고 데이터를 처리할 수 있는 두 가지 방법이 있습니다. 전체 초기 스냅샷은 지정된 테이블의 스냅샷이며이 스냅샷은 Amazon S3로 내보내집니다. 그러면 OpenSearch Ingestion 파이프라인이 이 스냅샷을 도메인의 한 인덱스로 보내거나 분할하여 도메인의 여러 인덱스로 보냅니다. Amazon RDS 및 OpenSearch의 데이터를 일관되게 유지하기 위해 파이프라인은 Amazon RDS 인스턴스의 테이블에 있는 모든 생성, 업데이트 및 삭제 이벤트를 OpenSearch 인덱스 또는 인덱스에 저장된 문서와 동기화합니다.

전체 초기 스냅샷을 사용하면 OpenSearch Ingestion 파이프라인이 먼저 스냅샷을 수집한 다음 Amazon RDS 변경 스트림에서 데이터 읽기를 시작합니다. 결국 Amazon RDS와 OpenSearch 간에 거의 실시간에 가까운 데이터 일관성을 유지하고 따라잡습니다.

Amazon RDS와의 OpenSearch Ingestion 통합을 사용하여 변경 데이터 캡처를 추적하고 Aurora의 모든 업데이트를 OpenSearch로 수집할 수도 있습니다. 다른 메커니즘의 전체 스냅샷이 이미 있거나 Amazon RDS 인스턴스의 데이터에 대한 모든 변경 사항을 캡처하려는 경우이 옵션을 선택합니다.

이 옵션을 선택하면 Amazon RDS for MySQL 바이너리 로깅을 구성하거나 Amazon RDS for PostgresSQL DB 인스턴스에 대한 논리적 복제를 설정해야 합니다.