View a markdown version of this page

Amazon Kinesis Data Streams 源在重新分片期间处理失序 - Managed Service for Apache Flink

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Streams 源在重新分片期间处理失序

当前的 FlinkKinesisConsumer 实现并未在 Kinesis 分片之间提供强有力的排序保证。这可能会导致在重新分片 Kinesis Stream 期间进行 out-of-order处理,对于遇到处理延迟的 Flink 应用程序尤其如此。在某些情况下,例如基于事件时间的窗口运算符,事件可能会因为由此产生的延迟而被丢弃。

该图显示了碎片和碎片使用者的时间进度和微调视野。

这是开源 Flink 中的一个已知问题。在连接器修复可用之前,请确保您的 Flink 应用程序在重新分区期间不会落后于 Kinesis Data Streams。通过确保 Flink 应用程序能够容忍处理延迟,您可以最大限度地减少 out-of-order处理的影响和数据丢失的风险。