View a markdown version of this page

Solução do Amazon CloudWatch: insights do Amazon MSK - Amazon CloudWatch
RequisitosHabilitar o coletor gerenciadoNíveis de monitoramento detalhado do Amazon MSKVisualizar o painel automáticoCustos

Solução do Amazon CloudWatch: insights do Amazon MSK

Essa solução ajuda você a monitorar seus clusters do Amazon MSK no CloudWatch sem executar ou escalar sua própria infraestrutura de coleta. Quando você habilita o Open Monitoring em um cluster do Amazon MSK, o cluster expõe as métricas do Prometheus por meio do JMX Exporter e do Node Exporter, e um coletor do Prometheus gerenciado pelo Amazon CloudWatch extrai essas métricas e as entrega ao CloudWatch. Para obter informações gerais sobre todas as soluções de observabilidade do CloudWatch, consulte Soluções de observabilidade do CloudWatch. Para obter o passo a passo completo da configuração do coletor, incluindo a criação do extrator e o exemplo de configuração dele, consulte Integrar o Amazon MSK.

Requisitos

Esta solução é aplicável nas seguintes condições:

  • Um cluster do Amazon MSK em modo provisionado, com operadores padrão ou expressos. Os coletores gerenciados não são compatíveis com os clusters do Amazon MSK Sem Servidor.

  • O Open Monitoring é habilitado no cluster, o que expõe o JMX Exporter (porta 11001) e o Node Exporter (porta 11002).

  • Amazon VPC com o DNS habilitado e, pelo menos, duas sub-redes em diferentes zonas de disponibilidade para o coletor.

  • Um grupo de segurança que permite que o coletor alcance as portas 11001 e 11002 do operador.

Habilitar o coletor gerenciado

Para coletar métricas do Amazon MSK com um coletor gerenciado, você habilita o Open Monitoring em seu cluster e, em seguida, cria um coletor conectado à VPC que extrai os endpoints do operador e entrega métricas ao seu conjunto de dados do CloudWatch. O coletor se conecta à sua VPC e extrai todos os operadores usando a descoberta de serviços baseada em DNS para que seu monitoramento permaneça resiliente às substituições de operadores e à escalabilidade dos clusters. Para obter instruções detalhadas, consulte Integrar o Amazon MSK.

nota

O parâmetro --open-monitoring sozinho expõe os endpoints do Prometheus nas portas 11001 e 11002. Os níveis de monitoramento aprimorados, como PER_TOPIC_PER_PARTITION, são separados do Open Monitoring e podem gerar cobranças adicionais, portanto, defina-os somente se precisar desse nível de métricas do Amazon MSK.

Níveis de monitoramento detalhado do Amazon MSK

Separadamente das métricas do Prometheus que o coletor extrai, o Amazon MSK publica suas próprias métricas no CloudWatch em vários níveis de monitoramento. Cada nível amplia o anterior, oferecendo um controle operacional mais detalhado. Você escolhe um nível de monitoramento ao criar ou atualizar o cluster. A lista a seguir resume os níveis. Para ver a lista completa de métricas em cada nível, consulte Métricas do Amazon MSK para monitoramento com o CloudWatch no Guia do desenvolvedor do Amazon MSK.

  • Monitoramento básico (DEFAULT): o nível padrão, disponível sem custo adicional. Inclui métricas em nível de cluster e de operador, como o número de operadores, o número de partições, os bytes e as mensagens de entrada e saída, a utilização da CPU e a E/S de rede.

  • Monitoramento aprimorado em nível de operador (PER_BROKER): inclui monitoramento básico e métricas mais granulares por operador, a um custo adicional.

  • Monitoramento aprimorado em nível de tópico (PER_TOPIC_PER_BROKER): inclui monitoramento aprimorado em nível de operador, além de métricas por tópico para uma visão mais granular do desempenho do tópico entre operadores, a um custo adicional.

  • Monitoramento aprimorado em nível de partição (PER_TOPIC_PER_PARTITION): o nível mais detalhado. Inclui monitoramento aprimorado em nível de tópico e métricas detalhadas por partição, como atraso de deslocamento, a um custo adicional.

nota

O Amazon MSK publica métricas de monitoramento detalhadas para as métricas clássicas do CloudWatch, que você pode consultar com a API GetMetricData. Para disponibilizar métricas de monitoramento detalhadas junto com as métricas do Prometheus via Open Monitoring, você precisa habilitar o enriquecimento do OpenTelemetry. Para obter mais informações, consulte Enriquecimento de métricas do OpenTelemetry.

Visualizar o painel automático

Depois que o coletor começa a entregar suas métricas do Amazon MSK para o CloudWatch, o console do CloudWatch fornece um painel automático denominado MSK OTel. Para abri-lo, consulte MSK OTel ou faça login no Console de Gerenciamento da AWS, abra o console do CloudWatch, escolha Painéis no painel de navegação, depois Painéis automáticos e então MSK OTel. Você pode começar a monitorar seus clusters sem criar widgets ou painéis por conta própria. Se o painel automático atender às suas necessidades, você poderá usá-lo como está. Para criar uma experiência de monitoramento personalizada, você pode adicionar qualquer um de seus widgets a um painel personalizado. Para obter mais informações sobre painéis personalizados, consulte Usar painéis do CloudWatch.

Custos

Cobramos pelos coletores do Prometheus por hora, e os preços de ingestão de métricas do CloudWatch OpenTelemetry se aplicam. Níveis mais altos de monitoramento do Amazon MSK também geram custos mensais adicionais. Para obter mais informações sobre os preços do CloudWatch, consulte Preço do Amazon CloudWatch.