Verwenden des Amazon Kinesis Data Streams-Connectors für strukturiertes Streaming mit Spark - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden des Amazon Kinesis Data Streams-Connectors für strukturiertes Streaming mit Spark

Die Amazon EMR-Versionen 7.1.0 und höher enthalten im Release-Image einen strukturierten Spark-Streaming-Konnektor für Amazon Kinesis Data Streams. Mit diesem Connector können Sie Spark auf Amazon EMR verwenden, um Daten zu verarbeiten, die in Amazon Kinesis Data Streams gespeichert sind. Der Connector unterstützt sowohl Verbrauchertypen GetRecords (gemeinsamer Durchsatz) als auch SubscribeToShard (erweiterter Fan-Out). Diese Integration basiert auf dem spark-sql-kinesis-connector. Einzelheiten zu den ersten Schritten mit der Verwendung des Connectors finden Sie in der README-Datei.

Das folgende Beispiel zeigt, wie Sie den Connector verwenden, um eine Spark-Anwendung mit Amazon EMR zu starten.

spark-submit my_kinesis_streaming_script.py