DynamoDB Streams y Apache Flink

Puede consumir registros de Amazon DynamoDB Streams con Apache Flink. Con Amazon Managed Service para Apache Flink, puede transformar y analizar datos de streaming en tiempo real mediante Apache Flink. Apache Flink es un marco de procesamiento de flujos de código abierto para procesar datos en tiempo real. El conector de Amazon DynamoDB Streams para Apache Flink simplifica la creación y la administración de las cargas de trabajo de Apache Flink y permite integrar aplicaciones con otros Servicios de AWS.

Amazon Managed Service para Apache Flink lo ayuda a crear rápidamente aplicaciones de procesamiento de flujos de extremo a extremo para análisis de registros, análisis de flujos de clics, Internet de las cosas (IoT), tecnología publicitaria, juegos y mucho más. Los cuatro casos de uso más comunes son la extracción-transformación-carga (ETL) de streaming, las aplicaciones controladas por eventos, los análisis en tiempo real con capacidad de respuesta y la consulta interactiva de flujos de datos. Para obtener más información sobre la escritura en Apache Flink desde Amazon DynamoDB Streams, consulte Conector de Amazon DynamoDB Streams.

Uso del parámetro ShardFilter con el conector de los flujos de DynamoDB para Apache Flink

Amazon DynamoDB Streams admite el parámetro ShardFilter en la API de DescribeStream para buscar un subconjunto de particiones. Al especificar una partición principal en la solicitud, los flujos de DynamoDB devolverán sus particiones secundarias inmediatas. Puede usar el parámetro ShardFilter para detectar rápidamente las particiones secundarias después de cerrar la partición principal, lo que hace que las aplicaciones de procesamiento de flujos sean más receptivas y rentables.

Amazon Managed Service para Apache Flink admite el parámetro ShardFilter al leer desde los flujos de DynamoDB. Para utilizar esta característica, debe solicitar acceso a una versión especial del conector de Flink que incluya soporte de ShardFilter. Para empezar, abra un caso de soporte en el AWS Support Center y solicite acceso a estos binarios. Para obtener más información sobre cómo usar los flujos de DynamoDB con Apache Flink, consulte Lectura y procesamiento de un flujo en la Guía para desarrolladores de DynamoDB.