CloudWatch 管道
遥测数据管道会从各类数据来源收集并处理日志、指标、跟踪数据等各类数据，并将其转发到不同目标端。CloudWatch Pipelines 提供集中化的收集能力，可对接 AWS 服务、第三方应用程序及自定义数据来源。该管道通过功能丰富的处理器对数据进行处理和转换，将数据转换为开放式网络安全架构框架（OCSF）等标准格式，并将处理后的数椐转发到 CloudWatch Logs。
您可以从各种来源收集数据，包括 AWS 服务、第三方应用程序和您自己的自定义来源。然后使用处理器对这些数据进行处理和转换，这样就可以将格式标准化，筛选不必要的信息，并通过其他上下文来丰富数据。这样您就可以将不同的数据格式转换为 OCSF 等标准化架构，从而实现跨所有数据来源进行统一分析。
在整个管道中，您的数据都通过传输层加密进行保护，从而确保满足安全性和合规性要求。
注意
配置管道时请注意，管道定义本身不加密，切勿在其中包含个人身份信息（PII）等敏感数据。
每条管道由三个主要部分组成：
-
来源端 – 定义数据的来源（AWS 服务、第三方应用程序或自定义数据来源）
-
处理器：（可选）配置如何转换、筛选或丰富数据
注意
添加处理器会导致日志事件发生变更，且原始日志不会被保留。
-
目标端 – 指定处理后数据的投递位置
要开始使用 CloudWatch 管道，请执行以下操作：
-
登录到 AWS 管理控制台。
-
进入 CloudWatch。
-
在导航面板中选择摄取，再选择管道选项卡。
-
选择 Create pipeline（创建管道）。
注意
请注意，CloudWatch 管道适用以下限制条件
-
每个账户的管道最大数量：330 个
-
从 CloudWatch Logs 收集数据的管道最多可创建 300 个
-
从其他数据来源收集数据的管道最多可创建 30 个
-
CloudWatch 管道的功能作为现有 CloudWatch Logs 数据接入定价的一部分提供，无额外费用，计量统计在数据摄取时进行。
第三方代发日志和自定义日志的现有日志类别摄取定价均适用本功能。例如，若摄取 30 GB 自定义标准类日志并通过管道进行处理，日志摄取的月费用为 15 美元；若摄取并处理的是低频访问自定义日志，月费用则为 7.50 美元。有关日志数据摄取定价的更多详情，请参阅 CloudWatch 定价。
从第三方连接器数据来源或通过 S3 存储桶连接器摄取的数据，均归类为自定义日志摄取，适用自定义日志数据摄取定价。计量在数据摄取到 CloudWatch 时进行。从第三方连接器数据来源或通过 S3 存储桶连接器摄取的数据，实际计量在执行数据处理之后完成。CloudWatch 管道数据来源（包括代管式与自定义 CloudWatch 日志数据来源）的计量，则在日志首次接收时进行，该节点早于管道处理环节。
CloudWatch 管道在以下 AWS 区域提供服务。
注意
第三方数据来源收集功能，仅在 OpenSearch Ingestion 服务部署了 API 端点的区域可用。
-
美国东部（俄亥俄州）
-
美国东部（弗吉尼亚州北部）
-
美国西部（北加利福尼亚）
-
美国西部（俄勒冈州）
-
亚太地区（香港）
-
亚太地区（马来西亚）
-
亚太地区（孟买）
-
亚太地区（大阪）
-
亚太地区（首尔）
-
亚太地区（新加坡）
-
亚太地区（悉尼）
-
亚太地区（泰国）
-
亚太地区（东京）
-
加拿大（中部）
-
欧洲地区（法兰克福）
-
欧洲地区（爱尔兰）
-
欧洲地区（伦敦）
-
欧洲地区（巴黎）
-
欧洲（西班牙）
-
欧洲地区（斯德哥尔摩）
-
南美洲（圣保罗）
有关更多信息，请参阅《AWS 一般参考》中的 Amazon CloudWatch 端点和配额。
主题
