Limitación ascendente o de origen desde un flujo de datos de Kinesis

Síntoma: la aplicación encuentra LimitExceededExceptions de su flujo de datos de Kinesis de origen ascendente.

Causa potencial: la configuración predeterminada del conector Kinesis de la biblioteca Apache Flink está configurada para leer desde la fuente de flujo de datos de Kinesis, con una configuración predeterminada muy agresiva para el número máximo de registros recuperados por llamada GetRecords. Apache Flink está configurado de forma predeterminada para recuperar 10 000 registros por llamada a GetRecords (esta llamada se realiza de forma predeterminada cada 200 ms), aunque el límite por partición es de solo 1000 registros.

Este comportamiento predeterminado puede provocar una limitación al intentar consumir datos del flujo de datos de Kinesis, lo que afectará al rendimiento y la estabilidad de las aplicaciones.

Se puede confirmar comprobando la métrica ReadProvisionedThroughputExceeded de CloudWatch y viendo períodos prolongados o sostenidos en los que esta métrica es superior a cero.

También se puede veren los registros de CloudWatch de su aplicación Amazon Managed Service para Apache Flink al observar errores LimitExceededException continuos.

Solución: el cliente puede hacer una de estas dos cosas para resolver esta situación: