데이터 편중 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink(Amazon MSF)는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려져 있었습니다.

데이터 편중

Flink 애플리케이션은 클러스터에서 분산 방식으로 실행됩니다. Flink는 여러 노드로 확장하기 위해 키 스트림이라는 개념을 사용합니다. 즉, 고객 ID와 같은 특정 키에 따라 스트림의 이벤트가 분할되고 Flink는 여러 노드의 여러 파티션을 처리할 수 있습니다. 그런 다음 키 윈도우, 프로세스 함수, 비동기 I/O 등과 같은 여러 Flink 연산자를 이러한 파티션을 기반으로 평가합니다.

파티션 키 선택은 대개 비즈니스 로직에 따라 달라집니다. 동시에 다음과 같은 DynamoDB 및 Spark의 여러 모범 사례가 Flink에도 동일하게 적용됩니다.

  • 파티션 키의 높은 농도 보장

  • 파티션 간 이벤트 볼륨 왜곡 방지

Flink 대시보드에서 하위 작업(예: 동일한 연산자의 인스턴스)의 수신/전송 기록을 비교하여 파티션의 편차를 식별할 수 있습니다. 또한 Managed Service for Apache Flink 모니터링을 numRecordsIn/Out 및 numRecordsInPerSecond/OutPerSecond의 지표들이 하위 작업 수준에도 노출되도록 구성할 수 있습니다.