Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégration zéro ETL de DynamoDB à Amazon OpenSearch Service

Amazon DynamoDB propose une intégration zéro ETL à Amazon OpenSearch Service au moyen du Plug-in DynamoDB pour OpenSearch Ingestion. Amazon OpenSearch Ingestion offre une expérience entièrement gérée et sans programmation pour l’ingestion de données dans Amazon OpenSearch Service.

Avec le plug-in DynamoDB pour OpenSearch Ingestion, vous pouvez utiliser une ou plusieurs tables DynamoDB comme source d’ingestion vers un ou plusieurs index OpenSearch Service. Vous pouvez parcourir et configurer vos pipelines OpenSearch Ingestion avec DynamoDB comme source à partir d’OpenSearch Ingestion ou de DynamoDB Integrations dans la AWS Management Console.

Fonctionnement

Le plug-in utilise l’exportation DynamoDB vers Amazon S3 pour créer un instantané initial à charger dans OpenSearch. Une fois l’instantané chargé, le plug-in utilise les flux DynamoDB pour répliquer toute modification ultérieure en temps quasi réel. Chaque élément est traité comme un événement dans OpenSearch Ingestion et peut être modifié avec les plug-ins du processeur. Vous pouvez supprimer des attributs ou créer des attributs composites et les envoyer à différents index via des itinéraires.

La reprise ponctuelle (PITR) doit être activée pour l’utilisation de l’exportation vers Amazon S3. DynamoDB Streams doit également être activé (avec l’option Nouvelles et anciennes images sélectionnée) pour pouvoir l’utiliser. Il est possible de créer un pipeline sans prendre de capture instantanée en excluant les paramètres d’exportation.

Vous pouvez également créer un pipeline contenant uniquement un instantané et aucune mise à jour en excluant les paramètres des flux. Le plug-in n’utilise pas le débit de lecture ou d’écriture sur votre table, il est donc sûr à utiliser sans affecter votre trafic de production. Il existe des limites au nombre d’utilisateurs parallèles sur un flux. Vous devez en tenir compte avant de créer cette intégration ou d’autres intégrations. Pour d’autres considérations, consultez Bonnes pratiques relatives à l’intégration à DynamoDB.

Pour les pipelines simples, une seule unité de calcul OpenSearch (OCU) peut traiter environ 1 Mo d’écriture par seconde. C’est l’équivalent d’environ 1 000 unités de demande d’écriture (WCU). En fonction de la complexité de votre pipeline et d’autres facteurs, vous pouvez obtenir plus ou moins que cela.

OpenSearch Ingestion prend en charge une file d’attente de lettres mortes (DLQ) pour les événements à l’origine d’erreurs irrécupérables. En outre, le pipeline peut reprendre là où il s’était arrêté sans intervention de l’utilisateur, même en cas d’interruption de service avec DynamoDB, le pipeline ou Amazon OpenSearch Service.

Si l’interruption dure plus de 24 heures, cela peut entraîner la perte des mises à jour. Toutefois, le pipeline peut continuer à traiter les mises à jour encore disponibles une fois la disponibilité rétablie. Vous devrez créer un nouvel index pour corriger les irrégularités dues aux événements supprimés, sauf s’ils se trouvent dans la file d’attente de lettres mortes.

Pour tous les paramètres et les détails du plug-in, consultez la documentation du plug-in OpenSearch Ingestion DynamoDB.

Expérience de création intégrée via la console

DynamoDB et OpenSearch Service intègrent une expérience intégrée dans la AWS Management Console, ce qui rationalise le processus de mise en route. Lorsque vous suivez ces étapes, le service sélectionne automatiquement le plan DynamoDB et ajoute les informations DynamoDB appropriées pour vous.

Pour créer une intégration, consultez les rubriques appropriées dans OpenSearch Ingestion getting started guide. Lorsque vous arrivez à Step 3 : Create a pipeline, remplacez les étapes 1 et 2 par les étapes suivantes :

À partir de là, vous pouvez continuer avec le reste du didacticiel.

Étapes suivantes

Pour mieux comprendre comment DynamoDB s’intègre à OpenSearch Service, consultez ce qui suit :