Spark 구조화된 스트리밍 Amazon Kinesis Data Streams 커넥터 사용

Amazon EMR 릴리스 7.1.0 이상에는 릴리스 이미지에 Spark 구조화된 스트리밍 Amazon Kinesis Data Streams 커넥터가 포함되어 있습니다. 이 커넥터를 사용하면 Amazon EMR에서 Spark를 사용하여 Amazon Kinesis Data Streams에 저장된 데이터를 처리할 수 있습니다. 커넥터는 GetRecords(공유 처리량) 및 SubscribeToShard(향상된 팬아웃)의 소비자 유형을 모두 지원합니다. 이 통합은 spark-sql-kinesis-connector에 기반합니다. 커넥터 사용을 시작하는 방법에 대한 자세한 내용은 README를 참조하세요.

다음 예제에서는 커넥터를 사용하여 Amazon EMR에서 Spark 애플리케이션을 시작하는 방법을 보여줍니다.

spark-submit my_kinesis_streaming_script.py