Integrazione Zero-ETL di Amazon DynamoDB con il Servizio OpenSearch di Amazon - Amazon DynamoDB

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Integrazione Zero-ETL di Amazon DynamoDB con il Servizio OpenSearch di Amazon

Amazon DynamoDB offre un’integrazione Zero-ETL con il Servizio OpenSearch di Amazon tramite il plug-in DynamoDB per OpenSearch Ingestion. Amazon OpenSearch Ingestion offre un’esperienza completamente gestita e no code per l’importazione di dati nel Servizio OpenSearch di Amazon.

Con il plugin DynamoDB per OpenSearch Ingestion, è possibile utilizzare una o più tabelle DynamoDB come origine per l’inserimento in uno o più indici del Servizio OpenSearch. È possibile sfogliare e configurare le proprie pipeline di OpenSearch Ingestion con DynamoDB come origine da OpenSearch Ingestion o DynamoDB Integrations nella Console di gestione AWS.

Come funziona

Il plug-in utilizza l’esportazione da DynamoDB in Amazon S3 per creare uno snapshot iniziale da caricare in OpenSearch. Dopo il caricamento dello snapshot, il plugin utilizza i flussi DynamoDB per replicare eventuali ulteriori modifiche quasi in tempo reale. Ogni elemento viene elaborato come evento in OpenSearch Ingestion e può essere modificato con i plugin del processore. È possibile eliminare gli attributi o creare attributi compositi e inviarli a diversi indici tramite percorsi.

È necessario che il recupero point-in-time (PITR) sia abilitato per utilizzare l’esportazione su Amazon S3. È inoltre necessario che i flussi DynamoDB siano abilitati (con l’opzione Immagini nuove e vecchie selezionata) per poterli utilizzare. È possibile creare una pipeline senza bisogno di uno snapshot escludendo le impostazioni di esportazione.

È possibile anche creare una pipeline con solo uno snapshot e nessun aggiornamento escludendo le impostazioni dei flussi. Il plugin non utilizza il throughput di lettura o scrittura sulla tabella, quindi è sicuro da usare senza influire sul traffico di produzione. Esistono dei limiti al numero di consumer paralleli su un flusso che dovrebbero essere considerati prima di creare questa o altre integrazioni. Per altre considerazioni, consulta Best practice per l’integrazione con DynamoDB.

Per pipeline semplici, una singola unità di calcolo OpenSearch (OCU, OpenSearch Compute Unit) è in grado di elaborare circa 1 MB di scrittura al secondo, ossia l’equivalente di circa 1000 unità di richiesta di scrittura (WCU). A seconda della complessità della pipeline e di altri fattori, è possibile anche un risultato superiore.

OpenSearch Ingestion supporta una coda DLQ per gli eventi che causano errori irreversibili. Inoltre, la pipeline può riprendere da dove era stata interrotta senza l’intervento dell’utente anche in caso di interruzione del servizio con DynamoDB, la pipeline o il Servizio OpenSearch di Amazon.

Se l’interruzione si protrae per più di 24 ore, ciò può causare la perdita degli aggiornamenti. Tuttavia, la pipeline continuerà a elaborare gli aggiornamenti che erano ancora disponibili una volta ripristinata la disponibilità. È necessaria una nuova creazione dell’indice per correggere eventuali irregolarità dovute agli eventi eliminati, a meno che non si trovino nella coda DLQ.

Per tutte le impostazioni e i dettagli del plugin, consulta la documentazione del plugin DynamoDB plugin per OpenSearch Ingestion.

Esperienza di creazione integrata tramite la console

DynamoDB e il Servizio OpenSearch offrono un’esperienza integrata nella Console di gestione AWS, che semplifica il processo di avvio. Dopo aver eseguito questa procedura, il servizio selezionerà automaticamente il blueprint DynamoDB e aggiungerà le informazioni DynamoDB appropriate al caso.

Per creare un’integrazione, segui OpenSearch Ingestion getting started guide. Alla Fase 3 relativa alla creazione di una pipeline, sostituisci le Fasi 1 e 2 con le seguenti:

  1. Vai alla console DynamoDB.

  2. Nel pannello di navigazione a sinistra, seleziona Integrazione.

  3. Seleziona la tabella DynamoDB da replicare su OpenSearch.

  4. Scegli Create (Crea).

Da qui è possibile continuare con il resto del tutorial.

Passaggi successivi

Per una migliore comprensione di come DynamoDB si integra con il Servizio OpenSearch, consulta quanto segue: