View a markdown version of this page

Processamento da fonte do Amazon Kinesis Data Streams fora de ordem durante a refragmentação - Managed Service for Apache Flink

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Processamento da fonte do Amazon Kinesis Data Streams fora de ordem durante a refragmentação

A FlinkKinesisConsumer implementação atual não oferece garantias sólidas de ordenação entre fragmentos do Kinesis. Isso pode levar a um processamento fora de ordem durante a refragmentação do Kinesis Stream, especialmente para aplicativos Flink que apresentam atraso no processamento. Em algumas circunstâncias, por exemplo, os operadores de Windows baseados nos horários dos eventos, os eventos podem ser descartados devido ao atraso resultante.

Diagrama mostrando fragmentos e consumidores de fragmentos com progressão temporal e horizonte de corte.

Esse é um problema conhecido no Open Source Flink. Até que a correção do conector seja disponibilizada, verifique se os aplicativos Flink não estão mais lentos do que o Kinesis Data Streams durante o reparticionamento. Ao garantir que o atraso no processamento seja tolerado pelos aplicativos Flink, você minimiza o impacto do processamento fora de ordem e o risco da perda de dados.