Conceptos clave de Amazon OpenSearch Ingestion

Desde el punto de vista de OpenSearch Ingestion, una canalización hace referencia a un único recopilador de datos aprovisionado que se crea en OpenSearch Service. Puede considerarlo como el archivo de configuración de YAML completo, que incluye una o más subcanalizaciones. Para ver los pasos para crear una canalización de ingesta, consulte Creación de canalizaciones.

Las subcanalizaciones se definen dentro de un archivo de configuración YAML. Cada subcanalización es una combinación de una sola fuente, un búfer, cero o más procesadores y uno o más receptores. Puede definir varias subcanalizaciones en un único archivo YAML, cada una con fuentes, procesadores y receptores únicos. Para facilitar la supervisión con CloudWatch y otros servicios, le recomendamos que especifique un nombre de canalización que sea distinto de todas sus subcanalizaciones.

Puede encadenar varias subcanalizaciones en un único archivo YAML, de modo que la fuente de una subcanalización sea otra subcanalización y su receptor sea una tercera subcanalización. Para ver un ejemplo, consulta Uso de una canalización de OpenSearch Ingestion con OpenTelemetry Collector.

El componente de entrada de una subcanalización. Define el mecanismo mediante el cual una canalización consume los registros. La fuente puede consumir eventos ya sea recibiéndolos a través de HTTPS o leyendo desde puntos de conexión externos, como Amazon S3. Hay dos tipos de fuentes: basadas en push y basadas en pull. Las fuentes basadas en push, como los registros HTTP y OTel, transmiten los registros a los puntos de conexión de ingesta. Las fuentes basadas en pull, como el rastreo OTel y S3, extraen datos de la fuente.

Unidades de procesamiento intermedias que pueden filtrar, transformar y enriquecer los registros en el formato deseado antes de publicarlos en el receptor. El procesador es un componente opcional de una canalización. Si no define un procesador, los registros se publican en el formato definido en la fuente. Puede tener más de un procesador. Una canalización ejecuta los procesadores en el orden en el que los define.

El componente de salida de una subcanalización. Define uno o más destinos en los que una subcanalización publica los registros. OpenSearch Ingestion admite los dominios de OpenSearch Service como receptores. También admite subcanalizaciones como receptores. Esto significa que puede encadenar varias subcanalizaciones en una sola canalización de OpenSearch Ingestion (archivo YAML). Los clústeres de OpenSearch autoadministrados no se admiten como receptores.

La parte de un procesador que actúa como capa entre la fuente y el receptor. No puede configurar manualmente un búfer dentro de la canalización. OpenSearch Ingestion usa una configuración de búfer predeterminada.

La parte de un procesador que permite a los autores de canalizaciones enviar únicamente los eventos que cumplan determinadas condiciones a distintos receptores.