View a markdown version of this page

자체 관리형 Kafka 클러스터에서 복제 모니터링 - Amazon Managed Streaming for Apache Kafka

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

자체 관리형 Kafka 클러스터에서 복제 모니터링

자체 관리형 Apache Kafka 클러스터에서 Amazon MSK Express 브로커로 데이터를 복제하는 MSK Replicator를 생성한 후 다음 Amazon CloudWatch 지표를 모니터링하여 복제 진행 상황을 추적하고 애플리케이션을 마이그레이션할 준비가 된 시점을 확인합니다.

복제기 생성 상태 모니터링

CreateReplicator API를 호출한 후 Replicator는 , CREATING RUNNING또는 상태로 전환됩니다FAILED. 약 30분이 소요됩니다.

aws kafka describe-replicator --replicator-arn <replicator-arn>
데이터 복제 모니터링

다음 지표를 모니터링하여 데이터 복제 진행 상황을 추적합니다.

  • MessageLag - 모든 데이터가 복제되었음을 나타내는 0에 도달할 때까지 모니터링합니다.

  • ReplicationLatency - 레코드가 소스에서 대상으로 복제되는 데 걸리는 시간을 추적합니다.

  • ReplicationFailures - 0이어야 합니다. 0이 아닌 값은 복제 문제를 나타냅니다.

소비자 그룹 오프셋 동기화 모니터링

synchroniseConsumerGroupOffsets를 로 설정하면 trueMSK Replicator는 주기적으로 소비자 그룹 오프셋을 변환하고 소스에서 대상 클러스터로 동기화합니다.

  • ConsumerGroupCount - 동기화되는 예상 소비자 그룹 수와 일치하는지 확인합니다.

  • ConsumerGroupOffsetSyncFailure - 0이어야 합니다. 0보다 큰 경우 소비자 그룹이 활성 상태인지 확인하고, 읽기 및 설명 권한을 확인하고, 주제가 대상 클러스터에 존재하는지 확인합니다.

  • OffsetLag (MSK)OffsetLag (Non-MSK) - 두 클러스터의 파티션 수준 소비자 지연을 비교하여 오프셋이 동기화되었는지 확인합니다.

마이그레이션 준비 상태 확인

다음 조건이 모두 충족되면 애플리케이션을 마이그레이션할 준비가 된 것입니다.

  • MessageLag = 0

  • ReplicationFailures = 0

  • ConsumerGroupOffsetSyncFailure = 0