Creación de canalizaciones OpenSearch de Amazon Ingestion

Una canalización es el mecanismo que Amazon OpenSearch Ingestion utiliza para mover los datos desde su origen (de donde provienen los datos) hasta su receptor (donde van los datos). En OpenSearch Ingestion, el receptor siempre será un único dominio de Amazon OpenSearch Service, mientras que la fuente de los datos podrían ser clientes como Amazon S3, Fluent Bit o The OpenTelemetry Colector.

Para obtener más información, consulte Pipelines en la OpenSearch documentación.

Requisitos previos y rol de IAM requerido

Para crear una canalización de OpenSearch Ingestion, debe tener los siguientes recursos:

Si desea obtener instrucciones para crear estos recursos, consulte los siguientes temas:

Permisos de IAM necesarios

OpenSearch Ingestion utiliza los siguientes permisos de IAM para crear canalizaciones:

Por ejemplo, la siguiente política concede permiso para crear una canalización:

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:CreatePipeline",
            "osis:ListPipelineBlueprints",
            "osis:ValidatePipeline"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/pipeline-role"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:CreateRole",
            "iam:AttachPolicy",
            "iam:PassRole"
         ]
      }
   ]
}

OpenSearch Ingestion también incluye un permiso denominadoosis:Ingest, que es necesario para enviar solicitudes firmadas a la canalización mediante Signature Version 4. Para obtener más información, consulte Creación de un rol de ingesta.

Para obtener más información sobre cada permiso, consulte las acciones, los recursos y las claves de condición de la OpenSearch ingestión en la Referencia de autorización de servicios.

Especificar la versión de la canalización

Al crear una canalización mediante el editor de configuración, debe especificar la versión principal de Data Prepper en la que se ejecutará la canalización. Para especificar la versión, incluya la opción de version en la configuración de la canalización:

version: "2"
log-pipeline:
  source:
    ...   

Al elegir Crear, OpenSearch Ingestion determina la última versión secundaria disponible de la versión principal que especifique y aprovisiona la canalización con esa versión. Por ejemplo, si especifica version: "2" y la última versión compatible de Data Prepper es la 2.1.1, OpenSearch Ingestion aprovisiona su canalización con la versión 2.1.1. No mostramos públicamente la versión secundaria que está ejecutando la canalización.

Para actualizar la canalización cuando haya disponible una nueva versión principal de Data Prepper, edite la configuración de la canalización y especifique la nueva versión. No puede cambiar una canalización a una versión anterior.

Cada vez que realice un cambio en su canalización que inicie una implementación azul/verde, OpenSearch Ingestion puede actualizarla a la última versión secundaria de la versión principal que esté configurada actualmente en la canalización. Para obtener más información, consulteImplementaciones azul/verde para actualizaciones de canalización. OpenSearch Ingestion no puede cambiar la versión principal de la canalización a menos que actualice explícitamente la version opción en la configuración de la canalización.

Especificación de la ruta de ingesta

En el caso de las fuentes basadas en la extracción, como el OTel rastreo y OTel las métricas, OpenSearch Ingestion requiere la path opción adicional en la configuración de la fuente. La ruta es una cadena, por ejemplo/log/ingest, que representa la ruta del URI para la ingesta. Esta ruta define el URI que usa para enviar datos a la canalización.

Por ejemplo, supongamos que especifica la siguiente ruta para una canalización con una fuente HTTP:

Al introducir datos de ingesta en la canalización, debe especificar el siguiente punto de conexión en la configuración de su cliente: https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path.

La ruta debe empezar con una barra (/) y puede contener los caracteres especiales '-', '_', '.' y '/', así como el marcador de posición ${pipelineName}. Si usas ${pipelineName} (por ejemplo/${pipelineName}/test_path), OpenSearch Ingestion reemplaza la variable por el nombre de la subcanalización asociada.

Creación de canalizaciones

Esta sección describe cómo crear canalizaciones OpenSearch de Ingestion mediante la consola de OpenSearch servicio y la. AWS CLI

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

Una vez que la canalización se haya creado correctamente, puede configurar su cliente y empezar a incorporar datos en su dominio de OpenSearch servicio. Para obtener más información, consulte Integración de canalizaciones OpenSearch de Amazon Ingestion con otros servicios y aplicaciones.

Seguimiento del estado de creación de la canalización

Puede realizar un seguimiento del estado de una canalización a medida que OpenSearch Ingestion la aprovisiona y la prepara para incorporar datos.

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}