Creación de canalizaciones de Amazon OpenSearch Ingestion

Una canalización es el mecanismo que Amazon OpenSearch Ingestion utiliza para mover los datos desde su origen (de donde provienen los datos) hasta su receptor (donde van los datos). En OpenSearch Ingestion, el receptor siempre será un único dominio de Amazon OpenSearch Service, mientras que la fuente de los datos podrían ser clientes como Amazon S3, Fluent Bit o el Recolector de OpenTelemetry.

Para más información, consulte Canalizaciones en la documentación de OpenSearch.

Requisitos previos y rol de IAM requerido

Para crear una canalización de OpenSearch Ingestion, debe disponer de los siguientes recursos:

Si desea obtener instrucciones para crear estos recursos, consulte los siguientes temas:

Permisos de IAM necesarios

OpenSearch Ingestion utiliza los siguientes permisos de IAM para crear canalizaciones:

Por ejemplo, la siguiente política concede permiso para crear una canalización:

OpenSearch Ingestion también incluye un permiso denominado osis:Ingest, que es necesario para enviar solicitudes firmadas a la canalización mediante Signature Version 4. Para más información, consulte Creación de un rol de ingesta.

Para obtener más información sobre cada permiso, consulte Acciones, recursos y claves de condición de OpenSearch Ingestion en la Referencia de autorizaciones de servicio.

Especificar la versión de la canalización

Al crear una canalización con el editor de configuración, debe especificar la versión principal de Data Prepper en la que se ejecutará la canalización. Para especificar la versión, incluya la opción de version en la configuración de la canalización:

version: "2"
log-pipeline:
  source:
    ...   

Al elegir Crear, OpenSearch Ingestion determina la última versión secundaria disponible de la versión principal que especifique y aprovisiona la canalización con esa versión. Por ejemplo, si especifica version: "2" y la última versión compatible de Data Prepper es la 2.1.1, OpenSearch Ingestion aprovisiona la canalización con la versión 2.1.1. No mostramos públicamente la versión secundaria que está ejecutando la canalización.

Para actualizar la canalización cuando haya disponible una nueva versión principal de Data Prepper, edite la configuración de la canalización y especifique la nueva versión. No puede cambiar una canalización a una versión anterior.

Cada vez que realice un cambio en su canalización que inicie una implementación azul/verde, OpenSearch Ingestion puede actualizarla a la última versión secundaria de la versión principal que esté configurada actualmente en la canalización. Para obtener más información, consulte Implementaciones azul/verde para actualizaciones de canalización. OpenSearch Ingestion no puede cambiar la versión principal de la canalización a menos que actualice explícitamente la opción de version en la configuración de la canalización.

Especificación de la ruta de ingesta

Para las fuentes basadas en pull, como el rastreo de OTel y las métricas de OTel, OpenSearch Ingestion requiere la opción de path adicional en la configuración de la fuente. La ruta es una cadena, por ejemplo/log/ingest, que representa la ruta del URI para la ingesta. Esta ruta define el URI que usa para enviar datos a la canalización.

Por ejemplo, supongamos que especifica la siguiente ruta para una canalización con un origen HTTP:

Al introducir datos de ingesta en la canalización, debe especificar el siguiente punto de conexión en la configuración de su cliente: https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path.

La ruta debe empezar con una barra (/) y puede contener los caracteres especiales '-', '_', '.' y '/', así como el marcador de posición ${pipelineName}. Si utiliza ${pipelineName} (por ejemplo /${pipelineName}/test_path), OpenSearch Ingestion reemplaza la variable con el nombre de la subcanalización asociada.

Creación de canalizaciones

Esta sección describe cómo crear canalizaciones de OpenSearch Ingestion mediante la consola de OpenSearch Service y la AWS CLI.

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

Una vez que la canalización se haya creado correctamente, puede configurar su cliente y empezar a incorporar datos en su dominio de OpenSearch Service. Para más información, consulte Integración de canalizaciones de Amazon OpenSearch Ingestion con otros servicios y aplicaciones.

Seguimiento del estado de creación de la canalización

Puede realizar un seguimiento del estado de una canalización a medida que OpenSearch Ingestion la aprovisiona y la prepara para incorporar datos.

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}