Utilizzo di una pipeline OpenSearch di ingestione con Amazon Aurora

Puoi utilizzare una pipeline OpenSearch di importazione con Amazon Aurora per esportare dati esistenti e trasmettere le modifiche (ad esempio creazione, aggiornamento ed eliminazione) verso domini e raccolte di Amazon OpenSearch Service. La pipeline OpenSearch Ingestion incorpora l'infrastruttura Change Data Capture (CDC) per fornire un modo su larga scala e a bassa latenza per lo streaming continuo di dati da Amazon Aurora. Aurora MySQL e Aurora PostgreSQL sono supportati.

Esistono due modi per utilizzare Amazon Aurora come origine per elaborare i dati: con o senza uno snapshot iniziale completo. Uno snapshot iniziale completo è uno snapshot di tabelle specificate e questo snapshot viene esportato in Amazon S3. Da lì, una pipeline di OpenSearch ingestione lo invia a un indice in un dominio o lo partiziona in più indici di un dominio. Per mantenere i dati in Amazon Aurora e OpenSearch coerenti, la pipeline sincronizza tutti gli eventi di creazione, aggiornamento ed eliminazione nelle tabelle dei cluster Amazon Aurora con i documenti salvati nell'indice o negli indici. OpenSearch

Quando usi uno snapshot iniziale completo, la tua pipeline di OpenSearch Ingestion prima lo inserisce e poi inizia a leggere i dati dai flussi di modifiche di Amazon Aurora. Alla fine recupera e mantiene la coerenza dei dati quasi in tempo reale tra Amazon Aurora OpenSearch e.

Puoi anche utilizzare l'integrazione di OpenSearch Ingestion con Amazon Aurora per tenere traccia dei dati di modifica, acquisizione dei dati e importare tutti gli aggiornamenti in Aurora to. OpenSearch Scegli questa opzione se disponi già di uno snapshot completo di un altro meccanismo o se desideri semplicemente acquisire tutte le modifiche ai dati nel cluster Amazon Aurora.

Quando si sceglie questa opzione, è necessario configurare la registrazione binaria per Aurora MySQL o configurare la replica logica per Aurora PostgreSQL sul cluster.