Monitoramento do Amazon MSK Connect - Amazon Managed Streaming for Apache Kafka

Monitoramento do Amazon MSK Connect

O monitoramento é uma parte importante para manter a confiabilidade, a disponibilidade e o desempenho do MSK Connect e das outras soluções da AWS. O Amazon CloudWatch monitora em tempo real seus recursos da AWS e as aplicações que você executa na AWS. Você pode coletar e rastrear métricas, criar painéis personalizados e definir alarmes que o notificam ou que realizam ações quando uma métrica especificada atinge um limite definido. Por exemplo, você pode fazer o CloudWatch monitorar o uso de CPU ou outras métricas do seu conector, permitindo que você aumente a capacidade, se for o caso. Para obter mais informações, consulte o Guia do usuário do Amazon CloudWatch.

Você pode usar as seguintes operações de API:

  • DescribeConnectorOperation: monitora o status das operações de atualização do conector.

  • ListConnectorOperations: acompanha as atualizações anteriores executadas no seu conector.

A tabela a seguir mostra as métricas que o MSK Connect envia para o CloudWatch sob a dimensão ConnectorName. O MSK Connect também fornece essas métricas por padrão e sem custo adicional. O CloudWatch mantém essas métricas por 15 meses, permitindo que você acesse informações históricas e obtenha uma perspectiva melhor sobre o desempenho de seus conectores. Você também pode definir alarmes que observam determinados limites e enviam notificações ou realizam ações quando esses limites são atingidos. Para obter mais informações, consulte o Guia do usuário do Amazon CloudWatch.

Nome da métrica Descrição
CpuUtilization O percentual de consumo de CPU por sistema e usuário.
ErroredTaskCount O número de tarefas que apresentaram erro.
MemoryUtilization O percentual da memória total em uma instância de agente, não apenas a memória de pilha da máquina virtual Java (JVM) atualmente em uso. Normalmente, a JVM não libera memória de volta para o sistema operacional. Portanto, o tamanho da pilha da JVM (MemoryUtilization) geralmente começa com um tamanho mínimo de pilha que aumenta incrementalmente até um máximo estável de aproximadamente 80 a 90%. O uso da pilha da JVM pode aumentar ou diminuir conforme o uso efetivo da memória do conector muda.
RebalanceCompletedTotal O número total de rebalanceamentos concluídos por esse conector.
RebalanceTimeAvg O tempo médio em milissegundos gasto pelo conector no rebalanceamento.
RebalanceTimeMax O tempo máximo em milissegundos gasto pelo conector no rebalanceamento.
RebalanceTimeSinceLast

O tempo em milissegundos desde que esse conector concluiu o rebalanceamento mais recente.
RunningTaskCount O número de tarefas em execução no conector.
SinkConsumerByteRate O número médio de bytes consumidos por segundo pelo consumidor de coletor da estrutura do Kafka Connect antes que qualquer transformação seja aplicada aos dados.
SinkRecordReadRate O número médio de registros lidos por segundo do cluster do Apache Kafka ou do Amazon MSK.
SinkRecordSendRate O número médio de registros que são gerados pelas transformações e enviados ao destino por segundo. Esse número não inclui registros filtrados.
SourceRecordPollRate O número médio de registros produzidos ou pesquisados por segundo.
SourceProducerByteRate O número médio de bytes produzidos por segundo pelo produtor de código-fonte da estrutura do Kafka Connect após a aplicação de transformação aos dados.
SourceRecordWriteRate O número médio de registros gerados pelas transformações e gravados no cluster do Apache Kafka ou do Amazon MSK por segundo.
TaskStartupAttemptsTotal O número total de inicializações de tarefas que o conector tentou realizar. Você pode usar essa métrica para identificar anomalias nas tentativas de inicialização de tarefas.
TaskStartupSuccessPercentage O percentual médio de tarefas bem-sucedidas iniciadas para o conector. Você pode usar essa métrica para identificar anomalias nas tentativas de inicialização de tarefas.
WorkerCount O número de operadores em execução no conector.
BytesInPerSec Bytes de metadados transferidos para a estrutura do Kafka Connect para comunicação entre operadores.
BytesOutPerSec Bytes de metadados transferidos a partir da estrutura do Kafka Connect para comunicação entre operadores.