Integrazione zero-ETL di DynamoDB con Amazon Service OpenSearch - Amazon DynamoDB

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Integrazione zero-ETL di DynamoDB con Amazon Service OpenSearch

Amazon DynamoDB offre un'integrazione zero-ETL con OpenSearch Amazon Service tramite il plug-in DynamoDB per Ingestion. OpenSearch Amazon OpenSearch Ingestion offre un'esperienza completamente gestita e senza codice per l'importazione di dati in Amazon Service. OpenSearch

Con il plug-in DynamoDB OpenSearch per Ingestion, puoi utilizzare una o più tabelle DynamoDB come origine per l'inserimento in uno o più indici di servizio. OpenSearch Puoi sfogliare e configurare le tue pipeline di OpenSearch ingestione con DynamoDB come sorgente da OpenSearch Ingestion o DynamoDB Integrations in. Console di gestione AWS

Come funziona

Il plug-in utilizza l'esportazione da DynamoDB in Amazon S3 per creare uno snapshot iniziale in cui caricare. OpenSearch Dopo il caricamento dello snapshot, il plugin utilizza i flussi DynamoDB per replicare eventuali ulteriori modifiche quasi in tempo reale. Ogni elemento viene elaborato come un evento in OpenSearch Ingestion e può essere modificato con i plug-in del processore. È possibile eliminare gli attributi o creare attributi compositi e inviarli a diversi indici tramite percorsi.

È necessario che point-in-time il ripristino (PITR) sia abilitato per utilizzare l'esportazione in Amazon S3. È inoltre necessario che i flussi DynamoDB siano abilitati (con l’opzione Immagini nuove e vecchie selezionata) per poterli utilizzare. È possibile creare una pipeline senza bisogno di uno snapshot escludendo le impostazioni di esportazione.

È possibile anche creare una pipeline con solo uno snapshot e nessun aggiornamento escludendo le impostazioni dei flussi. Il plugin non utilizza il throughput di lettura o scrittura sulla tabella, quindi è sicuro da usare senza influire sul traffico di produzione. Esistono dei limiti al numero di consumer paralleli su un flusso che dovrebbero essere considerati prima di creare questa o altre integrazioni. Per altre considerazioni, consulta Best practice per l’integrazione con DynamoDB.

Per pipeline semplici, una singola OpenSearch Compute Unit (OCU) può elaborare circa 1 MB al secondo di scritture. ossia l’equivalente di circa 1000 unità di richiesta di scrittura (WCU). A seconda della complessità della pipeline e di altri fattori, è possibile anche un risultato superiore.

OpenSearch Ingestion supporta una dead-letter queue (DLQ) per eventi che causano errori irreversibili. Inoltre, la pipeline può riprendere da dove era stata interrotta senza l'intervento dell'utente anche in caso di interruzione del servizio con DynamoDB, la pipeline o Amazon Service. OpenSearch

Se l’interruzione si protrae per più di 24 ore, ciò può causare la perdita degli aggiornamenti. Tuttavia, la pipeline continuerà a elaborare gli aggiornamenti che erano ancora disponibili una volta ripristinata la disponibilità. È necessaria una nuova creazione dell’indice per correggere eventuali irregolarità dovute agli eventi eliminati, a meno che non si trovino nella coda DLQ.

Per tutte le impostazioni e i dettagli del plug-in, consulta la documentazione del plug-in OpenSearchIngestion DynamoDB.

Esperienza di creazione integrata tramite la console

DynamoDB OpenSearch e Service offrono un'esperienza integrata in, che semplifica Console di gestione AWS il processo di avvio. Dopo aver eseguito questa procedura, il servizio selezionerà automaticamente il blueprint DynamoDB e aggiungerà le informazioni DynamoDB appropriate al caso.

Per creare un'integrazione, segui la guida introduttiva di OpenSearch Ingestion. Alla Fase 3 relativa alla creazione di una pipeline, sostituisci le Fasi 1 e 2 con le seguenti:

  1. Vai alla console DynamoDB.

  2. Nel pannello di navigazione a sinistra, seleziona Integrazione.

  3. Seleziona la tabella DynamoDB in cui desideri effettuare la replica. OpenSearch

  4. Scegli Create (Crea).

Da qui è possibile continuare con il resto del tutorial.

Fasi successive

Per una migliore comprensione di come DynamoDB si integra OpenSearch con Service, consulta quanto segue: