Monitorar pipelines usando as métricas do CloudWatch - Amazon CloudWatch
Métricas disponíveisDimensõesTipos de erroTipos de avisoVisualizar métricasCriar alarmesPráticas recomendadas para métricas de pipelines do CloudWatch

Monitorar pipelines usando as métricas do CloudWatch

Os pipelines do CloudWatch publicam as métricas no Amazon CloudWatch no namespace AWS/Observability Admin. É possível usar essas métricas para monitorar a integridade, a performance e o fluxo de dados dos pipelines.

Métricas disponíveis

As tabelas a seguir listam métricas disponíveis para os pipelines do CloudWatch.

nota

As métricas de pipelines são emitidas apenas quando o valor é diferente de zero.

Métricas principais

Métrica Descrição Dimensão Unidade

PipelineBytesIn

Volume de registros de log que entram no pipeline em bytes não compactados

PipelineName

Bytes

PipelineBytesInByDataSource

Volume de dados de entrada com detalhamento por fonte/tipo

PipelineName, DataSource, DataType

Bytes

PipelineBytesOut

Volume de dados roteados para o destino

PipelineName

Bytes

PipelineBytesOutByDataSource

Volume de dados de saída com detalhamento por fonte/tipo

PipelineName, DataSource, DataType

Bytes

PipelineRecordsIn

Número de registros que entram no pipeline

PipelineName

Contagem

PipelineRecordsInByDataSource

Número de registros de entrada com detalhamento por fonte/tipo

PipelineName, DataSource, DataType

Contagem

PipelineRecordsOut

Número de registros que saem do pipeline

PipelineName

Contagem

PipelineRecordsOutByDataSource

Número de registros de saída com detalhamento por fonte/tipo

PipelineName, DataSource, DataType

Contagem

Métricas de erros e avisos

Métrica Descrição Dimensão Unidade

PipelineErrors

Contagem agregada de erros no pipeline

PipelineName

Contagem

PipelineErrorsByErrorType

Contagens de erros com detalhamento por tipo

PipelineName, ErrorSource, ErrorComponent, ErrorType

Contagem

PipelineWarnings

Número de avisos encontrados

PipelineName

Contagem

PipelineWarningsByWarningType

Avisos detalhados por tipo

PipelineName, WarningSource, WarningComponent, WarningType

Contagem

PipelineRecordsUnprocessed

Número de registros que não puderam ser processados

PipelineName, DataSource, DataType

Contagem

PipelineRecordsDropped

Número de registros descartados (fontes terceirizadas apenas)

PipelineName, DataSource, DataType

Contagem

Dimensões

As métricas dos pipelines do CloudWatch usam as seguintes dimensões:

PipelineName

Nome do pipeline

DataSource

Fonte dos dados (nome do AWS serviço ou fonte de terceiros)

DataType

Tipo de dados sendo processados

ErrorSource

Origem do erro (s3, aws.secrets, cloudwatch_logs)

ErrorComponent

Componente no qual ocorreu o erro (fonte, coletor, extensão)

ErrorType

Tipo de erro encontrado

Tipos de erro

Os seguintes tipos de erro são acompanhados em PipelineErrorsByErrorType:

ACCESS_DENIED

Falhas relacionadas a permissões

ALL

A contagem total de todos os erros no pipeline

RESOURCE_NOT_FOUND

O recurso especificado não existe

SOURCE_READ_FAILURE

Falhas ao ler a fonte

PARSE_FAILURE

Erros ao analisar os dados

PROCESSOR_ERRORS

Falhas ao processar operações

PAYLOAD_SIZE_EXCEEDED

Limite de tamanho de dados excedido

Tipos de aviso

O seguinte tipo de aviso pode ocorrer em um pipeline:

THROTTLED

Indica que o volume de dados enviados excedeu os limites de taxa existentes, causando a eliminação ou o atraso de alguns pontos de dados ou eventos para proteger o sistema e garantir estabilidade.

Visualizar métricas

É possível visualizar as métricas de pipelines do CloudWatch usando os seguintes métodos:

Usando o console do CloudWatch

  1. Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/

  2. No painel de navegação, escolha Métricas

  3. Escolha o namespace AWS/Observability Admin

  4. Selecione a dimensão de métrica a ser visualizada

Como usar o AWS CLI

aws cloudwatch get-metric-statistics \
  --namespace "AWS/Observability Admin" \
  --metric-name "PipelineBytesIn" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --start-time "2025-10-29T00:00:00" \
  --end-time "2025-10-29T23:59:59" \
  --period 300 \
  --statistics Sum

Criar alarmes

Você pode criar alarmes do Amazon CloudWatch com base em qualquer dessas métricas. Este é um exemplo de criação de um alarme para erros no pipeline:

aws cloudwatch put-metric-alarm \
  --alarm-name "HighPipelineErrors" \
  --alarm-description "Alert on high error rate" \
  --metric-name "PipelineErrors" \
  --namespace "AWS/Observability Admin" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 10 \
  --comparison-operator GreaterThanThreshold \
  --statistic Sum \
  --alarm-actions arn:aws:sns:region:account-id:topic-name

Práticas recomendadas para métricas de pipelines do CloudWatch

Monitorar fluxo de dados

  • Use PipelineBytesIn e PipelineBytesOut para acompanhar o volume de dados

  • Monitore PipelineRecordsIn e PipelineRecordsOut para acompanhar as contagens de registros

  • Ficar atento a alterações inesperadas nos padrões de throughput

Acompanhar erros e avisos

  • Criar alarmes PipelineErrors para detectar problemas rapidamente

  • Usar PipelineErrorsByErrorType para diagnosticar problemas específicos

  • Monitorar PipelineWarnings para identificar possíveis problemas antecipadamente

Configurar limites apropriados

  • Basear os limites em padrões de dados esperados

  • Levar em conta variações normais no volume de dados

  • Considerar os períodos de pico de uso ao definir limites para alarme