DynamoDB 스트림 및 Apache Flink

Apache Flink로 Amazon DynamoDB Streams 레코드를 사용할 수 있습니다. Amazon Managed Service for Apache Flink를 통해 Apache Flink를 사용하여 스트리밍 데이터를 실시간으로 변환하고 분석할 수 있습니다. Apache Flink는 실시간 데이터를 처리하기 위한 오픈 소스 스트림 처리 프레임워크입니다. Apache Flink용 Amazon DynamoDB Streams 커넥터는 Apache Flink 워크로드의 구축 및 관리를 간소화하고 애플리케이션과 기타 AWS 서비스의 통합을 가능하게 합니다.

Amazon Managed Service for Apache Flink를 사용하면 로그 분석, 클릭스트림 분석, 사물 인터넷(IoT), 광고 기술, 게임 등을 위한 엔드 투 엔드 스트림 처리 애플리케이션을 빠르게 구축할 수 있습니다. 가장 일반적인 4가지 사용 사례는 스트리밍 추출, 변환, 로드(ETL), 이벤트 중심 애플리케이션, 응답형 실시간 분석 및 데이터 스트림의 대화형 쿼리입니다. Amazon DynamoDB Streams에서 Apache Flink에 쓰는 방법에 대한 자세한 내용은 Amazon DynamoDB Streams Connector를 참조하세요.

Apache Flink용 DynamoDB Streams 커넥터와 함께 ShardFilter 파라미터 사용

Amazon DynamoDB Streams는 DescribeStream API에서 ShardFilter 파라미터를 지원하여 샤드의 하위 집합을 찾습니다. 요청에 상위 샤드를 지정하면 DynamoDB Streams가 바로 밑에 있는 하위 샤드를 반환합니다. ShardFilter 파라미터를 사용하면 상위 샤드가 닫힌 후 하위 샤드를 빠르게 검색하여 스트림 처리 애플리케이션의 응답성과 비용 효과를 높일 수 있습니다.

Amazon Managed Service for Apache Flink는 DynamoDB Streams에서 읽을 때 ShardFilter 파라미터를 지원합니다. 이 기능을 사용하려면 ShardFilter 지원이 포함된 Flink 커넥터의 특수 버전에 대한 액세스를 요청해야 합니다. 시작하려면 AWS Support Center에서 지원 사례를 열고 이러한 바이너리에 대한 액세스를 요청합니다. Apache Flink과 함께 DynamoDB Streams 사용에 대한 자세한 내용은 DynamoDB 개발자 설명서의 스트림 판독 및 처리 섹션을 참조하세요.