View a markdown version of this page

创建管道 - Amazon CloudWatch
创建日志管线创建指标管线

创建管道

CloudWatch 管线支持为日志和指标数据创建管线。以下各部分介绍了如何创建每种类型的管线。

创建日志管线

管线配置向导将引导您创建日志数据管线。

  1. 在常规设置下，提供数据来源详细信息，包括来源名称和类型。也可以指定管道的标签和名称。

  2. 在目标下，指定目标详细信息。对于日志管线，CloudWatch Logs 是唯一支持的目标。对于指标管线，CloudWatch 指标是唯一支持的目标。

  3. 在处理器下，添加所需的处理器和解析器。解析器是某些数据类型所必需的第一步。您可以使用 Grok 或 CSV 等处理器执行自定义解析。您可以使用查找处理器通过 Amazon CloudWatch Logs 查找表中的数据来丰富日志事件。数据类型不支持的处理器将被禁用。

    要使用自然语言配置处理器，请启用人工智能辅助切换开关。输入您需要的日志转换的描述，CloudWatch 管道会自动生成处理器配置。对于 AWS 已出售日志，还会生成示例日志事件，因此您可以在部署之前验证输出。在创建管道之前，您可以查看和编辑生成的配置。

    重要

    要使用人工智能辅助处理器配置，您必须拥有 logs:GeneratePipeline IAM 权限。有关更多信息，请参阅 人工智能辅助的处理器配置权限。

    您也可以使用 when 参数，将条件处理规则添加到支持的处理器中。条件处理让您可以控制处理器对哪些日志条目执行操作。有关表达式语法和支持的处理器，请参阅条件处理的表达式语法。

    要出于审计或合规目的保留未经修改的日志数据副本，请启用保留原始日志切换开关。启用后，CloudWatch 管道会在进行任何转换之前自动将每个原始日志事件的副本存储到该事件的 @original_message 系统字段中。这样可以确保即使在处理器修改日志事件后，原始数据也始终可用于审计或调查。保留原始日志切换开关仅适用于具有 CloudWatch 已出售日志来源的管道。

  4. 在审核并创建下，审核管道配置。如果对配置满意，请选择创建管道以开始部署和创建管道资源。完成管道创建最多需要 5 分钟，具体取决于来源类型。完成后，您将进入摄取控制台中的“管道”选项卡。

重要

出于审计与合规目的，管道处理器配置记录在 AWS CloudTrail 事件中。为保护敏感信息，请勿在处理器配置中包含密码、API 密钥或其他敏感信息。

创建指标管线

您可以使用 CloudWatch 控制台或 AWS CLI 创建指标管线。借助指标管线，您可以处理 CloudWatch 指标数据，应用转换，并将处理后的指标转发到 CloudWatch。

创建指标管线（控制台）

请按照以下过程在 CloudWatch 控制台中创建指标管线。

  1. 打开 CloudWatch 控制台，然后在导航窗格中选择摄取、管线。

  2. 选择 Create pipeline（创建管道）。

  3. 对于来源类型，请选择 CloudWatch 指标（OTel）。

  4. 配置选择标准以指定管线要处理的指标。选择标准使用 OTel 属性路径（例如 resource.attributes、metric.name 和 datapoint.attributes）。所有标准都使用 AND 语义（全部必须匹配）。

  5. 在处理器下，最多添加 20 个处理器来转换指标数据。

  6. 在审核并创建下，审核管线配置并选择创建管线。

创建指标管线（AWS CLI）

使用 create-telemetry-pipeline 命令从 AWS CLI 创建指标管线。

aws observabilityadmin create-telemetry-pipeline \
    --pipeline-configuration-body file://config.yaml

以下示例显示了一个 YAML 配置文件，其定义了一个指标管线以及来源、处理器和接收器。

pipeline:
  source:
    cloudwatch_metrics:
      format: otlp
      selection_criteria:
        - match_all:
            - 'resource.attributes["service.name"] == "payment-service"'
            - 'metric.name == "http.server.request.duration"'
  processor:
    - add_attributes:
        attributes:
          - key: resource.attributes["team"]
            value: "platform-engineering"
  sink:
    - cloudwatch_metrics: {}

创建管线后，它会返回一个 ARN，格式如下：

arn:aws:observabilityadmin:region:accountId:telemetry-pipeline/pipelineID
注意

CloudWatch 指标是指标管线唯一支持的目标。

支持的 API 操作

下表列出了可用于管理指标管线的 API 操作。

操作 说明
CreateTelemetryPipeline 创建新的指标管线。
GetTelemetryPipeline 检索有关特定指标管线的详细信息。
ListTelemetryPipelines 列出账户中的所有指标管线。
DeleteTelemetryPipeline 删除指标管线。
ValidateTelemetryPipelineConfiguration 在创建之前验证管线配置。
UpdateTelemetryPipeline 更新现有指标管线配置。