Le traitement des sources de données Amazon Kinesis est désordonné lors du repartitionnement

L' FlinkKinesisConsumer implémentation actuelle ne fournit pas de solides garanties d'ordre entre les partitions Kinesis. Cela peut entraîner un traitement désordonné lors du nouveau partitionnement de Kinesis Stream, en particulier pour les applications Flink présentant un retard de traitement. Dans certaines circonstances, par exemple lorsque les opérateurs Windows sont basés sur l’heure des événements, les événements peuvent être ignorés en raison du retard qui en résulte.

Il s’agit d’un problème connu dans Open Source Flink. Jusqu’à ce que le correctif du connecteur soit disponible, assurez-vous que vos applications Flink ne prennent pas de retard sur Kinesis Data Streams lors du repartitionnement. En vous assurant que le délai de traitement est toléré par vos applications Flink, vous pouvez minimiser l’impact d’un traitement désordonné et le risque de perte de données.