CloudWatch 管道
CloudWatch 管道是一个完全托管的数据收集器，用于从 AWS 服务、第三方应用程序和自定义来源摄取和转换日志数据，并将其路由到 CloudWatch。内置处理器能够让您对日志进行丰富、筛选和标准化处理，使其符合 OCSF 之类的格式，而无需管理基础设施或第三方工具。
CloudWatch 管道与日志管理体验完全集成，使您能够通过数据来源和数据类型规范，在相关日志组范围内一致地处理和丰富日志数据。这可以解锁类似下面的使用案例：
-
自动对日志进行分类：通过管道处理的日志会自动标记上数据来源信息，从而能够实现以服务为中心的基础设施范围内的发现和查询操作
-
扩大对第三方的支持：对来自不断扩大的第三方来源的日志进行汇总和规范化处理，以便实现统一的分析和合规管理
管道的输出完全兼容 CloudWatch Logs 的各项功能，包括 Logs Insights 查询、日志异常检测和 Live Tail。CloudWatch 管道既适用于标准访问日志类别，也适用于非频繁访问日志类别，并且向后兼容日志转换器。
要开始使用 CloudWatch 管道，请访问 CloudWatch 控制台中的 CloudWatch 摄取页面中的管道
注意
请注意，CloudWatch 管道适用以下限制条件
-
每个账户的管道最大数量：330 个
-
从 CloudWatch Logs 收集数据的管道最多可创建 300 个
-
从其他数据来源收集数据的管道最多可创建 30 个
-
管道组件
每个管道包括以下组成部分：
-
来源：定义数据的来源（Amazon S3 存储桶、CloudWatch Logs、第三方集成）。每条管道必须恰好有一个来源。
-
处理器（可选）：在日志数据流经管道时，对数据进行转换、解析和丰富。将处理器按照定义处理器的顺序依次应用。
-
接收器：定义了已处理日志数据的发送目标。每条管道必须恰好有一个接收器。
-
扩展（可选）：提供其他功能，例如用于凭证管理的 AWS Secrets Manager 集成。
在整个管道中，您的数据都通过传输层加密进行保护，从而确保满足安全性和合规性要求。
注意
管道定义本身不加密，切勿在其中包含个人身份信息（PII）等敏感数据。
注意
添加处理器会导致日志事件发生变更，且原始日志不会被保留。
定价
CloudWatch Logs 中包含了 CloudWatch 管道，无需额外费用。基于日志类别（已出售或自定义）和存储类别（标准或低频率访问）的标准日志摄入费率仍然适用。计量在第一次摄取到 CloudWatch 时进行。CloudWatch Logs 的来源在管道处理之前进行计量。第三方和 S3 存储桶源被分类为自定义日志，并在处理后进行计量。有关定价详细信息，请参阅 CloudWatch 定价
区域可用性
CloudWatch 管道在以下 AWS 区域提供服务：
-
美国东部（俄亥俄州）
-
美国东部（弗吉尼亚州北部）
-
美国西部（北加利福尼亚）
-
美国西部（俄勒冈州）
-
亚太地区（香港）
-
亚太地区（马来西亚）
-
亚太地区（孟买）
-
亚太地区（大阪）
-
亚太地区（首尔）
-
亚太地区（新加坡）
-
亚太地区（悉尼）
-
亚太地区（泰国）
-
亚太地区（东京）
-
加拿大（中部）
-
欧洲地区（法兰克福）
-
欧洲地区（爱尔兰）
-
欧洲地区（伦敦）
-
Europe (Paris)
-
欧洲（西班牙）
-
欧洲地区（斯德哥尔摩）
-
南美洲（圣保罗）
注意
第三方数据来源收集功能，仅在 OpenSearch Ingestion 服务部署了 API 端点的区域可用。
有关更多信息，请参阅《AWS 一般参考》中的 Amazon CloudWatch 端点和配额。
主题
