View a markdown version of this page

Como criar pipelines - Amazon CloudWatch
Criar um pipeline de logsCriar um pipeline de métricas

Como criar pipelines

Os pipelines do CloudWatch oferecem suporte à criação de pipelines para dados de logs e métricas. As seções a seguir descrevem como criar cada tipo de pipeline.

Criar um pipeline de logs

O assistente de configuração de pipeline orienta você durante a criação do pipeline de dados de logs.

  1. Em Configurações gerais, forneça os detalhes da fonte de dados, incluindo nome e tipo da fonte. Você também pode especificar tags de pipeline e o nome do pipeline.

  2. Em Destino, especifique os detalhes do destino. Para pipelines de logs, o CloudWatch Logs é o único destino compatível. Para pipelines de métricas, o CloudWatch Metrics é o único destino compatível.

  3. Em Processador, adicione os processadores e analisadores desejados. Um analisador é a primeira etapa obrigatória para certos tipos de dados. Você pode realizar uma análise personalizada usando processadores como Grok ou CSV. Você pode usar o processador de pesquisa para enriquecer eventos de logs com dados de uma tabela de consulta do Amazon CloudWatch Logs. Os processadores que não são compatíveis com o tipo de dado estão desabilitados.

    Para configurar processadores usando linguagem natural, habilite o botão de alternância Assistida por IA. Insira uma descrição das transformações de logs necessárias, e os pipelines do CloudWatch vão gerar automaticamente a configuração do processador. Para logs fornecidos pela AWS, uma amostra de evento de logs também é gerada para que você possa verificar a saída antes da implantação. Você pode revisar e editar a configuração gerada antes de criar o pipeline.

    Importante

    Para usar a configuração do processador assistida por IA, você deve ter a permissão logs:GeneratePipeline do IAM. Para obter mais informações, consulte Permissões de configuração do processador assistida por IA.

    Você também pode adicionar regras de processamento condicional aos processadores compatíveis usando o parâmetro when. O processamento condicional permite controlar em quais entradas de logs um processador atua. Para obter a sintaxe da expressão e os processadores compatíveis, consulte Sintaxe da expressão para processamento condicional.

    Para preservar cópias não modificadas de seus dados de logs para fins de auditoria ou conformidade, habilite o botão de alternância Manter log original. Quando habilitados, os pipelines do CloudWatch armazenam automaticamente uma cópia de cada evento de logs bruto antes que qualquer transformação ocorra no campo do sistema @original_message do evento. Isso garante que os dados originais estejam sempre disponíveis para auditorias ou investigações, mesmo depois de os processadores modificarem os eventos de logs. O botão de alternância Manter log original está disponível somente para pipelines com uma fonte de logs fornecida pelo CloudWatch.

  4. Em Revisar e criar, revise a configuração do alarme. Se estiver satisfeito com a configuração, escolha Criar pipeline para comece a implantação e a criação dos recursos do pipeline. A criação do pipeline leva até 5 minutos, dependendo do tipo de fonte. Após a conclusão, você será direcionado para a guia Pipelines no console de ingestão.

Importante

As configurações do processador de pipeline são registradas em log de eventos do AWS CloudTrail para fins de auditoria e conformidade. Para proteger as informações sensíveis, não inclua senhas, chaves de API ou outras informações sensíveis nas configurações do processador.

Criar um pipeline de métricas

Você pode criar um pipeline de métricas usando o console do CloudWatch ou a CLI da AWS. Com um pipeline de métricas, é possível processar dados de métricas do CloudWatch, aplicar transformações e encaminhar as métricas processadas para o CloudWatch.

Para criar um pipeline de métricas (console)

Use o procedimento apresentado mostrado a seguir para criar um pipeline de métricas no console do CloudWatch.

  1. Abra o console do CloudWatch e, no painel de navegação, escolha Ingestão, Pipelines.

  2. Selecione Criar pipeline.

  3. Para o tipo de fonte, selecione CloudWatch Metrics (OTel).

  4. Configure os critérios de seleção para especificar quais métricas o pipeline processa. Os critérios de seleção utilizam caminhos de atributos OTel, como resource.attributes, metric.name e datapoint.attributes. Todos os critérios utilizam a semântica AND (todos devem corresponder).

  5. Em Processador, adicione até 20 processadores para transformar seus dados de métricas.

  6. Em Revisar e criar, revise a configuração do pipeline e escolha Criar pipeline.

Para criar um pipeline de métricas (CLI da AWS)

Utilize o comando create-telemetry-pipeline para criar um pipeline de métricas a partir da CLI da AWS.

aws observabilityadmin create-telemetry-pipeline \
    --pipeline-configuration-body file://config.yaml

O exemplo a seguir mostra um arquivo de configuração YAML que define um pipeline de métricas com fonte, processador e coletor.

pipeline:
  source:
    cloudwatch_metrics:
      format: otlp
      selection_criteria:
        - match_all:
            - 'resource.attributes["service.name"] == "payment-service"'
            - 'metric.name == "http.server.request.duration"'
  processor:
    - add_attributes:
        attributes:
          - key: resource.attributes["team"]
            value: "platform-engineering"
  sink:
    - cloudwatch_metrics: {}

Quando o pipeline é criado, ele retorna um ARN no seguinte formato:

arn:aws:observabilityadmin:region:accountId:telemetry-pipeline/pipelineID
nota

O CloudWatch Metrics é o único destino compatível com pipelines de métricas.

Operações de API compatíveis

A tabela mostrada a seguir lista as operações de API que você pode utilizar para gerenciar pipelines de métricas.

Operation Descrição
CreateTelemetryPipeline Cria um novo pipeline de métricas.
GetTelemetryPipeline Recupera detalhes sobre um pipeline de métricas específico.
ListTelemetryPipelines Lista todos os pipelines de métricas em sua conta.
DeleteTelemetryPipeline Exclui um pipeline de métricas.
ValidateTelemetryPipelineConfiguration Valida a configuração de um pipeline antes da criação.
UpdateTelemetryPipeline Atualiza uma configuração existente do pipeline de métricas.