View a markdown version of this page

Amazon Kinesis Data Streams 源在重新分片期间处理失序 - Managed Service for Apache Flink

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Streams 源在重新分片期间处理失序

当前的 FlinkKinesisConsumer 实现并未在 Kinesis 分片之间提供强有力的排序保证。在对 Kinesis Stream 进行重新分片期间,这可能会导致处理失序,对于遇到处理延迟的 Flink 应用程序尤其如此。在某些情况下,例如基于事件时间的窗口运算符,事件可能会因为由此产生的延迟而被丢弃。

该图显示了碎片和碎片使用者的时间进度和微调视野。

这是开源 Flink 中的一个已知问题。在连接器修复可用之前,请确保您的 Flink 应用程序在重新分区期间不会落后于 Kinesis Data Streams。通过确保 Flink 应用程序能够容忍处理延迟,您可以最大限度地减少失序处理的影响和数据丢失的风险。