Utilisation de l’adaptateur DynamoDB Streams Kinesis pour traiter des enregistrements de flux - Amazon DynamoDB

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de l’adaptateur DynamoDB Streams Kinesis pour traiter des enregistrements de flux

L’utilisation de l’adaptateur Amazon Kinesis est la méthode recommandée pour consommer des flux d’Amazon DynamoDB. L’API DynamoDB Streams est volontairement semblable à celle de Kinesis Data Streams. Dans les deux services, les flux de données sont composés de partitions qui sont des conteneurs pour enregistrements de flux. Les deux services APIs contiennentListStreams, DescribeStreamGetShards, et GetShardIterator opérations. (Si ces actions de DynamoDB Streams sont similaires à leurs homologues dans Kinesis Data Streams, elles ne sont pas identiques à 100 %.)

En tant qu’utilisateur de DynamoDB Streams, vous pouvez utiliser les modèles de conception figurant dans la KCL pour traiter les partitions et les enregistrements de flux de DynamoDB Streams. Pour ce faire, vous utilisez l’adaptateur Kinesis DynamoDB Streams. L’adaptateur Kinesis implémente l’interface Kinesis Data Streams afin que la KCL puisse être utilisée pour la consommation et le traitement des enregistrements de DynamoDB Streams. Pour obtenir des instructions sur la configuration et l'installation de l'adaptateur DynamoDB Streams Kinesis, consultez le référentiel. GitHub

Vous pouvez écrire des applications pour Kinesis Data Streams à l’aide de la bibliothèque client Kinesis (KCL). La KCL simplifie le codage en fournissant des abstractions utiles par-dessus l’API Kinesis Data Streams de bas niveau. Pour en savoir plus sur la KCL, consultez Développement d’applications consommateur à l’aide de la bibliothèque client Kinesis dans le Guide du développeur Amazon Kinesis Data Streams.

DynamoDB recommande d'utiliser la version 3.x de KCL avec le SDK AWS pour Java v2.x. La version 1.x de l'adaptateur DynamoDB Streams Kinesis actuelle AWS avec SDK AWS SDK pour Java pour v1.x continuera d'être entièrement prise en charge tout au long de son cycle de vie, comme prévu pendant la période de transition, conformément à la politique de maintenance des outils.AWS SDKs

Note

Les versions 1.x et 2.x de la bibliothèque client Amazon Kinesis (KCL) sont obsolètes. KCL 1.x arrivera end-of-support le 30 janvier 2026. Nous vous recommandons vivement de migrer vos applications KCL utilisant la version 1.x vers la version la plus récente de la KCL avant le 30 janvier 2026. Pour trouver la dernière version de KCL, consultez la page de la bibliothèque client Amazon Kinesis sur. GitHub Pour en savoir plus sur la bibliothèque client Kinesis, consultez Use Kinesis Client Library. Pour en savoir plus sur la migration de la KCL 1.x vers la KCL 3.x, consultez Migration de la KCL 1.x vers la KCL 3.x.

Le diagramme suivant illustre la manière dont ces bibliothèques interagissent entre elles.

Interactions entre DynamoDB Streams, Kinesis Data Streams et la KCL pour le traitement des enregistrements DynamoDB Streams.

Avec l’adaptateur Kinesis DynamoDB Streams en place, vous pouvez commencer à développer sur l’interface KCL, avec les appels d’API dirigés de manière transparente vers le point de terminaison DynamoDB Streams.

Lorsque votre application démarre, elle appelle la KCL pour instancier un worker. Vous devez fournir au travailleur les informations de configuration de l'application, telles que le descripteur de flux et les AWS informations d'identification, ainsi que le nom d'une classe de processeur d'enregistrements que vous fournissez. À mesure qu’il exécute le code dans le processeur d’enregistrements, le worker effectue les tâches suivantes :

  • Se connecte au flux

  • Énumère les partitions dans le flux

  • Vérifie et énumère les partitions enfants d’une partition parent fermée dans le flux

  • Coordonne les associations de partition avec les autres travaux (le cas échéant)

  • Instancie un processeur d’enregistrements pour chaque partition qu’il gère

  • Extrait des enregistrements du flux

  • Pousse les enregistrements sur le processeur d’enregistrements correspondant

  • Contrôle les enregistrements traités

  • Équilibre les associations partition-worker lorsque le nombre d’instances de worker change

  • Équilibre les associations partition-worker quand des partitions sont fractionnées

Note

Pour une description des concepts de KCL évoqués ici, consultez Développement d’applications consommateur à l’aide de la bibliothèque client Kinesis dans le Guide du développeur Amazon Kinesis Data Streams.

Pour plus d'informations sur l'utilisation des flux avec, AWS Lambda voir Streams et déclencheurs DynamoDB AWS Lambda