View a markdown version of this page

在重新分片期間,Amazon Kinesis 資料串流來源處理順序不正確 - Managed Service for Apache Flink

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在重新分片期間,Amazon Kinesis 資料串流來源處理順序不正確

目前的 FlinkKinesisConsumer 實作無法在 Kinesis 碎片之間提供強有力的排序保證。這可能會導致 Kinesis 串流重新分片期間出現不按順序處理的情況,特別是對於遇到處理延遲的 Flink 應用程式而言。在某些情況下,例如根據事件時間的 Windows 運算子,事件可能會因為產生的延遲而被捨棄。

圖表顯示具有時間進展和裁剪水平的碎片和碎片取用者。

這是開放原始碼 Flink 中的已知問題。在提供連接器修正之前,請確保您的 Flink 應用程式在重新分割期間不會落後於 Kinesis 資料串流。透過確保 Flink 應用程式可以容忍處理延遲,您可以最大程度地減少錯誤處理的影響和資料遗失的風險。