Data Amazon Kinesis mengalirkan pemrosesan sumber yang rusak selama re-sharding

FlinkKinesisConsumer Implementasi saat ini tidak memberikan jaminan pemesanan yang kuat antara pecahan Kinesis. Hal ini dapat menyebabkan pemrosesan out-of-order selama re-sharding Kinesis Stream, khususnya untuk aplikasi Flink yang mengalami kelambatan pemrosesan. Dalam beberapa keadaan, misalnya operator windows berdasarkan waktu acara, peristiwa mungkin dibuang karena keterlambatan yang dihasilkan.

Ini adalah masalah yang diketahui di Open Source Flink. Sampai perbaikan konektor tersedia, pastikan aplikasi Flink Anda tidak tertinggal di belakang Kinesis Data Streams selama partisi ulang. Dengan memastikan bahwa penundaan pemrosesan ditoleransi oleh aplikasi Flink Anda, Anda dapat meminimalkan dampak pemrosesan yang tidak sesuai pesanan dan risiko kehilangan data.