DynamoDB Streams und Apache Flink

Sie können Amazon-DynamoDB-Streams-Datensätze mit Apache Flink aufnehmen. Mit Amazon Managed Service für Apache Flink lassen sich Streaming-Daten mithilfe von Apache Flink in Echtzeit umwandeln und analysieren. Apache Flink ist ein Open-Source-Verarbeitungsframework für Streams, mit dem Echtzeitdaten verarbeitet werden können. Der Amazon-DynamoDB-Streams-Connector für Apache Flink vereinfacht die Erstellung und Verwaltung von Apache Flink-Workloads. Zudem ermöglicht er die Integration von Anwendungen in andere AWS-Services.

Mithilfe von Amazon Managed Service für Apache Flink lassen sich schnell umfassende Stream-Verarbeitungsanwendungen für Protokollanalysen, Clickstream-Analysen, das Internet der Dinge (IoT), Ad Tech, Spiele und mehr erstellen. Die vier häufigsten Anwendungsfälle sind Streaming-ETLs (Extract-Transform-Load), ereignisgesteuerte Anwendungen, reaktionsschnelle Echtzeitanalysen und interaktive Abfragen von Datenströmen. Weitere Informationen dazu, wie Sie aus Amazon DynamoDB Streams in Apache Flink schreiben, finden Sie unter Amazon DynamoDB Streams Connector.

Verwenden des ShardFilter-Parameters mit dem DynamoDB Streams Connector für Apache Flink

Amazon DynamoDB Streams unterstützt den ShardFilter-Parameter in der DescribeStream-API, um eine Teilmenge von Shards zu finden. Wenn Sie in der Anfrage einen übergeordneten Shard benennen, gibt DynamoDB Streams seine unmittelbar untergeordneten Shards zurück. Sie können den ShardFilter-Parameter verwenden, um untergeordnete Shards schnell zu erkennen, nachdem ein übergeordneter Shard geschlossen wurde. Auf diese Weise werden Stream-Verarbeitungsanwendungen reaktionsschneller und kostengünstiger.

Amazon Managed Service für Apache Flink unterstützt den ShardFilter-Parameter beim Lesen von DynamoDB Streams. Um diese Funktion nutzen zu können, müssen Sie Zugriff auf eine spezielle Version des Flink-Connectors beantragen, die ShardFilter unterstützt. Stellen Sie dazu eine Support-Anfrage im AWS Support-Center und fordern Sie Zugriff auf diese Binärdateien an. Weitere Informationen zur Verwendung von DynamoDB Streams mit Apache Flink finden Sie im Entwicklerhandbuch für DynamoDB im Abschnitt Lesen und Verarbeiten eines Streams.