View a markdown version of this page

Amazon CloudWatch 솔루션: Amazon MSK 인사이트 - Amazon CloudWatch
요구 사항관리형 수집기 활성화Amazon MSK 세부 모니터링 수준자동 대시보드 보기비용

Amazon CloudWatch 솔루션: Amazon MSK 인사이트

이 솔루션을 사용하면 자체 컬렉션 인프라를 실행하거나 해당 규모를 조정하지 않고도 CloudWatch에서 Amazon MSK 클러스터를 모니터링할 수 있습니다. Amazon MSK 클러스터에서 Open Monitoring을 활성화하면 클러스터는 JMX Exporter 및 Node Exporter를 통해 Prometheus 지표를 노출하고, Amazon CloudWatch 관리형 Prometheus 수집기는 해당 지표를 스크레이핑하여 CloudWatch에 전송합니다. CloudWatch 관찰성 솔루션에서 모든 CloudWatch 관찰성 솔루션에 대한 일반 정보를 참조하세요. 스크레이퍼 생성 및 스크레이프 구성 예제를 포함한 전체 수집기 설정 연습은 Amazon MSK 통합 섹션을 참조하세요.

요구 사항

이 솔루션 관련 조건은 다음과 같습니다.

  • Standard 또는 Express 브로커가 있는 프로비저닝된 모드의 Amazon MSK 클러스터. 관리형 수집기는 Amazon MSK Serverless 클러스터를 지원하지 않습니다.

  • 클러스터에서 활성화된 Open Monitoring. 이 경우 JMX Exporter(포트 11001) 및 Node Exporter(포트 11002)를 노출합니다.

  • DNS가 활성화된 Amazon VPC 및 수집기에 대해 서로 다른 가용 영역에 있는 서브넷 2개 이상.

  • 수집기가 브로커 포트 11001 및 11002에 연결할 수 있도록 허용하는 보안 그룹.

관리형 수집기 활성화

관리형 수집기로 Amazon MSK 지표를 수집하려면 클러스터에서 Open Monitoring을 활성화한 다음, 브로커 엔드포인트를 스크레이핑하고 지표를 CloudWatch 데이터세트에 전송하는 VPC 연결 수집기를 생성합니다. 수집기는 VPC에 연결하고 DNS 기반 서비스 검색을 사용하여 모든 브로커를 스크레이핑하므로, 모니터링에서 브로커 교체 및 클러스터 조정에 대한 복원력을 유지합니다. 단계별 지침은 Amazon MSK 통합섹션을 참조하세요.

참고

--open-monitoring 파라미터만으로 포트 11001 및 11002의 Prometheus 엔드포인트를 노출합니다. PER_TOPIC_PER_PARTITION과 같은 향상된 모니터링 계층은 Open Monitoring과 별개이며 추가 요금이 발생할 수 있으므로, 해당 수준의 Amazon MSK 지표가 필요한 경우에만 설정하세요.

Amazon MSK 세부 모니터링 수준

수집기가 스크레이핑하는 Prometheus 지표와 별도로 Amazon MSK는 여러 모니터링 수준에서 자체 지표를 CloudWatch에 게시합니다. 각 수준에서는 이전 수준을 기반으로 하며, 보다 세부적인 운영 가시성을 제공합니다. 클러스터를 생성하거나 업데이트할 때 모니터링 수준을 선택합니다. 다음 목록에는 이러한 수준이 요약되어 있습니다. 각 수준에서 지표의 전체 목록은 Amazon MSK 개발자 안내서의 Amazon MSK metrics for monitoring with CloudWatch를 참조하세요.

  • 기본 모니터링(DEFAULT) - 추가 비용 없이 사용할 수 있는 기본 수준입니다. 브로커 수, 파티션 수, 수신 및 송신 바이트와 메시지 수, CPU 사용률, 네트워크 I/O와 같은 클러스터 수준 및 브로커 수준 지표를 포함합니다.

  • 향상된 브로커 수준 모니터링(PER_BROKER) - 기본 모니터링을 포함하고 추가 비용으로 더 세분화된 브로커당 지표를 제공합니다.

  • 향상된 주제 수준 모니터링(PER_TOPIC_PER_BROKER) - 향상된 브로커 수준 모니터링을 포함하고 추가 비용으로 여러 브로커에서의 주제 성능을 보다 세밀하게 볼 수 있도록 주제별 지표를 제공합니다.

  • 향상된 파티션 수준 모니터링(PER_TOPIC_PER_PARTITION) - 가장 세부적인 수준입니다. 향상된 주제 수준 모니터링을 포함하고 추가 비용으로 오프셋 지연과 같은 세분화된 파티션별 지표를 제공합니다.

참고

Amazon MSK는 GetMetricData API를 사용하여 쿼리할 수 있는 클래식 CloudWatch 지표에 세부 모니터링 지표를 게시합니다. Open Monitoring Prometheus 지표와 함께 세부 모니터링 지표를 사용하려면 OpenTelemetry 보강을 활성화해야 합니다. 자세한 내용은 OpenTelemetry 지표 보강을 참조하세요.

자동 대시보드 보기

수집기가 Amazon MSK 지표를 CloudWatch로 전송하기 시작하면 CloudWatch 콘솔은 MSK OTel이라는 자동 대시보드를 제공합니다. 이를 열려면 MSK OTel을 참조하거나 AWS Management Console에 로그인하고 CloudWatch 콘솔을 연 후에 탐색 창에서 대시보드를 선택하고 자동 대시보드를 선택한 다음, MSK OTel을 선택하세요. 위젯이나 대시보드를 직접 구축하지 않고도 클러스터 모니터링을 시작할 수 있습니다. 자동 대시보드가 요구 사항을 충족하는 경우 그대로 사용할 수 있습니다. 맞춤형 모니터링 환경을 구축하기 위해 사용자 지정 대시보드에 위젯을 추가할 수 있습니다. 사용자 지정 대시보드에 대한 자세한 내용은 CloudWatch 대시보드 사용을 참조하세요.

비용

Prometheus 수집기에 대해 시간 단위로 요금이 부과되며, CloudWatch OpenTelemetry 지표 수집 요금이 적용됩니다. Amazon MSK 모니터링 수준이 높을수록 추가 월별 비용이 발생합니다. CloudWatch 요금에 대한 자세한 내용은 Amazon CloudWatch 요금을 참조하세요.