Creación de canalizaciones OpenSearch de Amazon Ingestion

Una canalización es el mecanismo que Amazon OpenSearch Ingestion utiliza para mover los datos desde su origen (de donde provienen los datos) hasta su receptor (adonde van los datos). En OpenSearch Ingestion, el receptor siempre será un único dominio de Amazon OpenSearch Service, mientras que la fuente de los datos podrían ser clientes como Amazon S3, Fluent Bit o OpenTelemetry Collector.

Para obtener más información, consulte Pipelines en la OpenSearch documentación.

Requisitos previos y rol de IAM requerido

Para crear una canalización OpenSearch de ingestión, debes disponer de los siguientes recursos:

Si desea obtener instrucciones para crear estos recursos, consulte los siguientes temas:

Permisos de IAM necesarios

OpenSearch Ingestion usa los siguientes permisos de IAM para crear canalizaciones:

Por ejemplo, la siguiente política concede permiso para crear una canalización:

OpenSearch La ingestión también incluye un permiso denominadoosis:Ingest, que es necesario para enviar solicitudes firmadas a la canalización mediante la versión 4 de Signature. Para obtener más información, consulte Creación de un rol de ingesta.

Para obtener más información sobre cada permiso, consulte las acciones, los recursos y las claves de condición de la OpenSearch ingestión en la Referencia de autorización de servicios.

Especificar la versión de la canalización

Al crear una canalización mediante el editor de configuración, debe especificar la versión principal de Data Prepper que ejecutará la canalización. Para especificar la versión, incluya la opción de version en la configuración de la canalización:

version: "2"
log-pipeline:
  source:
    ...   

Si eliges Crear, OpenSearch Ingestion determina la última versión secundaria disponible de la versión principal que especifiques y aprovisiona la canalización con esa versión. Por ejemplo, si lo especificas version: "2" y la última versión compatible de Data Prepper es la 2.1.1, OpenSearch Ingestion aprovisiona tu canalización con la versión 2.1.1. No mostramos públicamente la versión secundaria que está ejecutando la canalización.

Para actualizar la canalización cuando haya disponible una nueva versión principal de Data Prepper, edite la configuración de la canalización y especifique la nueva versión. No puede cambiar una canalización a una versión anterior.

Cada vez que realices un cambio en la canalización que inicie una blue/green implementación, OpenSearch Ingestion puede actualizarla a la última versión secundaria de la versión principal que esté configurada actualmente para la canalización. Para obtener más información, consulte. Implementaciones azul/verde para actualizaciones de canalización OpenSearch La ingestión no puede cambiar la versión principal de tu canalización a menos que actualices explícitamente la version opción en la configuración de la canalización.

Especificación de la ruta de ingesta

En el caso de las fuentes basadas en la extracción, como el OTel rastreo y OTel las métricas, OpenSearch Ingestion requiere la path opción adicional en la configuración de la fuente. La ruta es una cadena, por ejemplo/log/ingest, que representa la ruta del URI para la ingesta. Esta ruta define el URI que usa para enviar datos a la canalización.

Por ejemplo, supongamos que especificas la siguiente ruta para una canalización con una fuente HTTP:

Al introducir datos de ingesta en la canalización, debe especificar el siguiente punto de conexión en la configuración de su cliente: https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path.

La ruta debe empezar con una barra (/) y puede contener los caracteres especiales '-', '_', '.' y '/', así como el marcador de posición ${pipelineName}. Si usas ${pipelineName} (por ejemplo/${pipelineName}/test_path), OpenSearch Ingestion reemplaza la variable por el nombre de la subcanalización asociada.

Creación de canalizaciones

En esta sección se describe cómo crear canalizaciones OpenSearch de ingestión mediante la consola de OpenSearch servicio y el. AWS CLI

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

Una vez que la canalización se haya creado correctamente, puede configurar su cliente y empezar a ingerir datos en su OpenSearch dominio de servicio. Para obtener más información, consulte Integración de las canalizaciones OpenSearch de Amazon Ingestion con otros servicios y aplicaciones.

Seguimiento del estado de creación de la canalización

Puede realizar un seguimiento del estado de una canalización a medida que OpenSearch Ingestion la aprovisiona y la prepara para ingerir datos.

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}