在摄取期间转换日志 - Amazon CloudWatch Logs

在摄取期间转换日志

通过日志转换和丰富,您可以在将日志摄取到 CloudWatch Logs 时以一致且上下文丰富的格式规范化所有日志。您可以使用预配置的模板为常见的 AWS 服务(例如 AWS WAF 和 Amazon Route 53)添加日志结构,或者使用 Grok 等原生解析器构建自定义转换器。您还可以重命名现有属性,并向日志添加其他元数据(例如,账户 ID 和区域)。

日志转换有助于简化和缩短应用程序中的日志查询,并有助于简化在日志上创建警报的过程。此功能为常见日志类型提供转换,并为主要 AWS 日志源(如 VPC 流日志、Route 53 和 Amazon RDS for PostgreSQL)提供开箱即用的转换模板。您可以使用预配置的转换模板,也可以创建自定义转换器以满足您的需求。

日志转换可帮助您管理从格式和属性名称差异很大的源发出的日志。

创建转换器后,摄取的日志事件将以标准格式转换和存储。您可以利用这些转换后的日志,通过以下功能加速您的分析体验:

转换仅在日志摄取期间进行。您无法转换已摄取的日志事件。转换操作不可逆。原始日志和转换后的日志都存储在 CloudWatch Logs 中,并采用相同的保留策略。日志转换和丰富功能包含在现有的标准日志类摄取价格中。日志存储成本将根据转换后的日志大小计算,这可能会超过原始日志量。

重要

日志事件转换后,您必须使用 CloudWatch Logs Insights 查询来查看转换后的日志版本。GetLogEventsFilterLogEvents 操作仅返回日志事件的原始版本,即转换之前的版本。

除了转换为不同的格式外,您还可以使用其他上下文(例如,账户 ID、区域和关键字)丰富日志。这些信息是从日志组名称和静态关键字中提取的。

日志转换可帮助您处理从格式和属性名称差异很大的源发出的日志。

仅标准日志类中的日志组支持日志转换和丰富功能。

您可以为单个日志组创建转换器,也可以创建适用于账户中所有或多个日志组的账户级转换器。如果某个日志组具有日志组级转换器,则该转换器会覆盖原本适用于该日志组的任何账户级转换器。