Solução para monitorar aplicações Kafka com o Amazon Managed Grafana

O espaço de trabalho do Amazon Managed Service for Prometheus armazena métricas do Kafka e da Máquina virtual Java (JVM) do seu cluster do Amazon EKS.

Coleta de métricas específicas do Kafka e da JVM usando o agente CloudWatch, bem como um complemento do agente CloudWatch. As métricas são configuradas para serem enviadas para o espaço de trabalho do Amazon Managed Service for Prometheus.

Seu espaço de trabalho do Amazon Managed Grafana para extrair essas métricas e criar painéis para ajudar a monitorar o cluster.

Acesso dos usuários ao espaço de trabalho do Amazon Managed Grafana. Para obter mais informações sobre preços, consulte Preço do Amazon Managed Grafana.

Ingestão e armazenamento de métricas do Amazon Managed Service for Prometheus e análise de métricas (processamento de exemplos de consultas). O número de métricas usadas por essa solução depende da configuração e do uso da aplicação.

Você pode visualizar as métricas de ingestão e armazenamento no Amazon Managed Service for Prometheus usando o CloudWatch. Para obter mais informações, consulte CloudWatch metrics no Guia do usuário do Amazon Managed Service for Prometheus.

Você pode estimar o custo usando a Calculadora de Preços na página de preços do Amazon Managed Service for Prometheus. A quantidade de métricas dependerá do número de nós no cluster e das métricas que as aplicações produzem.

Custos de rede. Você pode incorrer em cobranças padrão de rede da AWS para tráfego entre zonas de disponibilidade, regiões ou outros tipos de tráfego.

jvm.classes.loaded

jvm.gc.collections.count

jvm.gc.collections.elapsed

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.committed

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.committed

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.used

jvm.memory.pool.committed

jvm.threads.count

kafka.message.count

kafka.request.count

kafka.request.failed

kafka.request.time.total

kafka.request.time.50p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.io

kafka.purgatory.size

kafka.partition.count

kafka.partition.offline

kafka.partition.under_replicated

kafka.isr.operation.count

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.request.queue

kafka.logs.flush.time.count

kafka.logs.flush.time.median

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.consumer.records-lag-max

kafka.consumer.total.bytes-consumed-rate

kafka.consumer.total.fetch-size-avg

kafka.consumer.total.records-consumed-rate

kafka.consumer.bytes-consumed-rate

kafka.consumer.fetch-size-avg

kafka.consumer.records-consumed-rate

kafka.producer.io-wait-time-ns-avg

kafka.producer.outgoing-byte-rate

kafka.producer.request-latency-avg

kafka.producer.request-rate

kafka.producer.response-rate

kafka.producer.byte-rate

kafka.producer.compression-rate

kafka.producer.record-error-rate

kafka.producer.record-retry-rate

kafka.producer.record-send-rate

Você deve concluir todos os pré-requisitos antes de instalar a solução.

O cluster deve ter pelo menos um nó antes de tentar criar a solução ou acessar as métricas.

O cluster do Amazon EKS deve ter os complementos AWS CNI, CoreDNS e kube-proxy instalados. Se eles não estiverem instalados, a solução não funcionará corretamente. Eles são instalados por padrão ao criar o cluster por meio do console. Talvez seja necessário instalá-los se o cluster tiver sido criado por meio do AWS SDK.

O tempo limite de instalação dos pods do Amazon EKS expirou. Isso poderá acontecer se não houver capacidade suficiente de nós disponível. Há várias causas para esses problemas, incluindo:

Você não vê nenhum dashboard no Grafana: você está usando o ID incorreto do espaço de trabalho do Grafana.

Execute o seguinte comando para obter informações sobre o Grafana:

kubectl describe grafanas external-grafana -n grafana-operator

Você pode verificar os resultados do URL correto do espaço de trabalho. Se não for o que você espera, implante novamente com o ID do espaço de trabalho correto.

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

Você não vê nenhum dashboard no Grafana: você está usando uma chave de API expirada.

Para procurar esse caso, você precisará obter o operador do Grafana e verificar se há erros nos logs. Obtenha o nome do operador do Grafana com este comando:

kubectl get pods -n grafana-operator

Isso retornará o nome do operador, por exemplo:

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

Use o nome do operador no seguinte comando:

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

Mensagens de erro como as seguintes indicam uma chave de API expirada:

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

Nesse caso, crie uma chave de API e implante a solução novamente. Se o problema persistir, você pode forçar a sincronização usando o seguinte comando antes da nova implantação:

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

Falta o parâmetro SSM. Se você encontrar um erro como a seguir, execute cdk bootstrap e tente novamente.

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)