Amazon OpenSearch Ingestion 重要概念

从 OpenSearch Ingestion 的角度来看，管道是指您在 OpenSearch Service 中创建的单个预调配的数据收集器。您可以将其视为整个 YAML 配置文件，其中包含一个或多个子管道。有关创建提取管道的步骤，请参阅创建管道。

您可以在 YAML 配置文件中定义子管道。每个子管道都由一个来源、一个缓冲区、零个或多个处理器以及一个或多个接收器组成。您可以在单个 YAML 文件中定义多个子管道，每个子管道都有唯一的来源、处理器和接收器。为了便于使用 CloudWatch 和其他服务进行监控，建议您指定的管道名称与其所有子管道都不同。

您可以在单个 YAML 文件中将多个子管道串在一起，这样一个子管道的源是另一个子管道，而其接收器是第三个子管道。有关示例，请参阅将 OpenSearch Ingestion 管道与 OpenTelemetry Collector 结合使用。

子管道的输入组件。它定义了管道使用记录的机制。源可以处理事件，其方法是通过 HTTPS 接收事件，或从 Amazon S3 等外部端点读取事件。源有两种类型：基于推送的源和基于拉取的源。基于推送的源（例如 HTTP 和 OTel 日志）将记录流式传输到提取端点。基于拉取的源（例如 OTel 跟踪和 S3）从源中提取数据。

中间处理单元，可以在将记录发布到接收器之前对其进行筛选、转换和扩充为所需格式。处理器是管道的可选组件。如果您未定义处理器，则记录将以源文件中定义的格式发布。可以有多个处理器。管道按照定义处理器的顺序来运行处理器。

子管道的输出组件。它定义了子管道向其发布记录的一个或多个目的地。OpenSearch Ingestion 支持 OpenSearch Service 域作为接收器。它还支持子管道作为接收器。这意味着您可以将单个 OpenSearch Ingestion 管道（YAML 文件）中的多个子管道串在一起。不支持将自行管理的 OpenSearch 集群作为接收器。

处理器的一部分，在源和接收器之间充当缓冲层。您无法在管道中手动配置缓冲区。OpenSearch Ingestion 使用默认的缓冲区配置。

处理器的一部分，可让管道作者仅向不同接收器发送符合特定条件的事件。