KCL 개념

이 섹션에서는 Kinesis Client Library(KCL)의 핵심 개념과 상호 작용을 설명합니다. 이러한 개념은 KCL 소비자 애플리케이션을 개발하고 관리하는 데 필수적입니다.

• KCL 소비자 애플리케이션 - Kinesis Client Library를 사용하여 Kinesis Data Streams에서 레코드를 읽고 처리하도록 설계된 사용자 지정 구축 애플리케이션입니다.

• 워커 - KCL 소비자 애플리케이션은 일반적으로 분산된 형태이며 하나 이상의 워커가 동시에 동작합니다. KCL은 분산 방식으로 스트림의 데이터를 소비하도록 워커를 조정하고 여러 워커에 로드를 균등하게 분산합니다.

• 스케줄러 - KCL 워커가 데이터 처리를 시작하는 데 사용하는 상위 수준 클래스입니다. 각 KCL 워커에 하나의 스케줄러가 있습니다. 스케줄러는 Kinesis Data Streams에서 샤드 정보 동기화, 워커 간 샤드 할당 추적, 워커에 할당된 샤드를 기반으로 스트림 데이터 처리 등 다양한 작업을 초기화하고 감독합니다. 스케줄러는 처리할 스트림의 이름, AWS 자격 증명과 같이 스케줄러의 동작에 영향을 미치는 다양한 구성을 수행할 수 있습니다. 스케줄러는 스트림에서 레코드 프로세서로 데이터 레코드 전송을 시작합니다.

• 레코드 프로세서 - KCL 소비자 애플리케이션이 데이터 스트림에서 가져온 데이터를 처리하는 로직을 정의합니다. 레코드 프로세서에서 자체 사용자 지정 데이터 처리 로직을 구현해야 합니다. KCL 워커가 스케줄러를 인스턴스화합니다. 그런 다음 스케줄러는 리스를 보유한 샤드 각각에 대해 하나의 레코드 프로세서를 인스턴스화합니다. 한 워커가 여러 레코드 프로세서를 실행할 수 있습니다.

• 리스 - 워커와 샤드 간의 할당을 정의합니다. KCL 소비자 애플리케이션은 리스를 사용하여 여러 워커에 데이터 레코드 처리를 분산합니다. 각 샤드는 특정 시점에 리스에 의해 한 워커에게만 바인딩되며 각 워커는 하나 이상의 리스를 동시에 보유할 수 있습니다. 중지 또는 실패로 인해 워커가 리스 보유를 중지하면 KCL이 다른 워커에 리스를 할당합니다. 리스에 대한 자세한 내용은 Github 설명서: Lease Lifecycle 섹션을 참조하세요.

• 리스 테이블 - KCL 소비자 애플리케이션의 모든 리스를 추적하는 데 사용되는 고유한 Amazon DynamoDB 테이블입니다. 각 KCL 소비자 애플리케이션은 자체 리스 테이블을 생성합니다. 리스 테이블은 모든 워커의 상태를 유지하여 데이터 처리를 조정하는 데 사용됩니다. 자세한 내용은 KCL의 DynamoDB 메타데이터 테이블 및 로드 밸런싱 단원을 참조하십시오.

• 체크포인트 - 마지막으로 성공적으로 처리된 레코드의 위치를 샤드에 지속적으로 저장하는 프로세스입니다. KCL은 워커가 실패하거나 애플리케이션이 다시 시작되는 경우 마지막 체크포인트 위치에서 처리를 재개할 수 있도록 체크포인트를 관리합니다. 체크포인트는 리스 메타데이터의 일부로 DynamoDB 리스 테이블에 저장됩니다. 이를 통해 워커는 이전 워커가 중지한 위치에서 계속 처리할 수 있습니다.