Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégration de DynamoDB Zero-ETL à Amazon Service OpenSearch

Amazon DynamoDB propose une intégration sans ETL avec Amazon OpenSearch Service via le plug-in DynamoDB pour l'ingestion. OpenSearch Amazon OpenSearch Ingestion propose une expérience entièrement gérée et sans code pour l'ingestion de données dans Amazon OpenSearch Service.

Grâce au plug-in DynamoDB pour OpenSearch l'ingestion, vous pouvez utiliser une ou plusieurs tables DynamoDB comme source d'ingestion dans un ou plusieurs index de service. OpenSearch Vous pouvez parcourir et configurer vos pipelines OpenSearch d'ingestion avec DynamoDB comme source depuis OpenSearch Ingestion ou DynamoDB Integrations dans le. Console de gestion AWS

Comment ça marche

Le plug-in utilise l'exportation DynamoDB vers Amazon S3 pour créer un instantané initial à charger. OpenSearch Une fois l’instantané chargé, le plug-in utilise les flux DynamoDB pour répliquer toute modification ultérieure en temps quasi réel. Chaque élément est traité comme un événement dans OpenSearch Ingestion et peut être modifié à l'aide des plugins du processeur. Vous pouvez supprimer des attributs ou créer des attributs composites et les envoyer à différents index via des itinéraires.

La reprise ponctuelle (PITR) doit être activée pour l’utilisation de l’exportation vers Amazon S3. DynamoDB Streams doit également être activé (avec l’option Nouvelles et anciennes images sélectionnée) pour pouvoir l’utiliser. Il est possible de créer un pipeline sans prendre de capture instantanée en excluant les paramètres d’exportation.

Vous pouvez également créer un pipeline contenant uniquement un instantané et aucune mise à jour en excluant les paramètres des flux. Le plug-in n’utilise pas le débit de lecture ou d’écriture sur votre table, il est donc sûr à utiliser sans affecter votre trafic de production. Il existe des limites au nombre d’utilisateurs parallèles sur un flux. Vous devez en tenir compte avant de créer cette intégration ou d’autres intégrations. Pour d’autres considérations, consultez Bonnes pratiques relatives à l’intégration à DynamoDB.

Pour les pipelines simples, une seule unité de OpenSearch calcul (OCU) peut traiter environ 1 Mo par seconde d'écritures. C’est l’équivalent d’environ 1 000 unités de demande d’écriture (WCU). En fonction de la complexité de votre pipeline et d’autres facteurs, vous pouvez obtenir plus ou moins que cela.

OpenSearch L'ingestion prend en charge une file d'attente de lettres mortes (DLQ) pour les événements qui provoquent des erreurs irrécupérables. En outre, le pipeline peut reprendre là où il s'était arrêté sans intervention de l'utilisateur, même en cas d'interruption de service avec DynamoDB, le pipeline ou Amazon OpenSearch Service.

Si l’interruption dure plus de 24 heures, cela peut entraîner la perte des mises à jour. Toutefois, le pipeline peut continuer à traiter les mises à jour encore disponibles une fois la disponibilité rétablie. Vous devrez créer un nouvel index pour corriger les irrégularités dues aux événements supprimés, sauf s’ils se trouvent dans la file d’attente de lettres mortes.

Pour tous les paramètres et détails du plug-in, consultez la documentation du plug-in OpenSearch Ingestion DynamoDB.

Expérience de création intégrée via la console

DynamoDB et OpenSearch Service proposent une expérience intégrée dans le Console de gestion AWS, ce qui simplifie le processus de démarrage. Lorsque vous suivez ces étapes, le service sélectionne automatiquement le plan DynamoDB et ajoute les informations DynamoDB appropriées pour vous.

Pour créer une intégration, suivez le guide de OpenSearch démarrage d'Ingestion. Lorsque vous arrivez à Step 3 : Create a pipeline, remplacez les étapes 1 et 2 par les étapes suivantes :

À partir de là, vous pouvez continuer avec le reste du didacticiel.

Étapes suivantes

Pour mieux comprendre comment DynamoDB s'intègre à OpenSearch Service, consultez les rubriques suivantes :