Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Tutorial: Ingerir datos en un dominio mediante Amazon OpenSearch Ingestion

En este tutorial, se muestra cómo utilizar Amazon OpenSearch Ingestion para configurar una canalización sencilla e ingerir datos en un dominio de Amazon OpenSearch Service. Una canalización es un recurso que OpenSearch Ingestion aprovisiona y administra. Puede usar una canalización para filtrar, enriquecer, transformar, normalizar y agregar datos para el análisis y la visualización posteriores en OpenSearch Service.

Este tutorial recorre los pasos básicos para poner en marcha una canalización de forma rápida. Para obtener instrucciones más completas, consulteCreación de canalizaciones.

En este tutorial, deberá completar los siguientes pasos:

En este tutorial creará los recursos siguientes:

Permisos necesarios

Para completar este tutorial, tu usuario o rol debe tener adjunta una política basada en la identidad con los siguientes permisos mínimos. Estos permisos le permiten crear un rol de canalización y adjuntar una política (iam:Create*yiam:Attach*), crear o modificar un dominio (es:*) y trabajar con canalizaciones (). osis:*

JSON

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "iam:Attach*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:CreateRole",
            "iam:AttachPolicy",
            "iam:PassRole"
         ]
      }
   ]
}

Paso 1: crear el rol de canalización

En primer lugar, crea un rol que asuma la canalización para acceder al receptor de dominios del OpenSearch servicio. Incluirá esta función en la configuración de la canalización más adelante en este tutorial.

Recuerde el nombre de recurso de Amazon (ARN) del rol (por ejemplo, arn:aws:iam::your-account-id:role/PipelineRole). Lo necesitará cuando cree la canalización.

Paso 2: crear un dominio

En primer lugar, cree un dominio con el nombre en ingestion-domain el que desee introducir los datos.

Ve a la consola OpenSearch de Amazon Service en https://console.aws.amazon.com/aos/casa y crea un dominio que cumpla los siguientes requisitos:

El dominio debe tener una política de acceso que conceda permiso al rol de OpenSearchIngestion-PipelineRole IAM, que el OpenSearch Servicio creará para usted en el siguiente paso. La canalización asumirá esta función para enviar datos al receptor del dominio.

Asegúrese de que el dominio tenga la siguiente política de acceso a nivel de dominio, que otorga al rol de canalización acceso al dominio. Sustituya la Región y el ID de cuenta por los suyos:

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

Para obtener más información sobre la creación de políticas de acceso a nivel de dominio, consulte. Políticas basadas en recursos

Si ya ha creado un dominio, modifique su política de acceso actual para proporcionar los permisos anteriores a OpenSearchIngestion-PipelineRole.

Paso 3: crear una canalización

Ahora que tienes un dominio, puedes crear una canalización.

Paso 4: incorporar algunos datos de muestra

Cuando el estado de la canalización sea Active, puede empezar a incorporarle datos. Debe firmar todas las solicitudes HTTP que se envíen a la canalización mediante la versión 4 de Signature. Use una herramienta HTTP como Postman o awscurl para enviar algunos datos a la canalización. Al igual que ocurre con la indexación de datos directamente en un dominio, la incorporación de datos a una canalización siempre requiere un rol de IAM o una clave de acceso y una clave secreta de IAM.

Primero, obtenga la URL de incorporación en la página de Configuración de canalización:

A continuación, incorpore algunos datos de muestra. La siguiente solicitud usa awscurl para enviar un único archivo de registro a la canalización:

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs

Debería ver una respuesta 200 OK. Si recibe un error de autenticación, es posible que se deba a que está incorporando datos de una cuenta distinta a la de la canalización. Consulte Solución de problemas de permisos.

Ahora, consulte el índice application_logs para asegurarse de que la entrada de registro se haya incorporado correctamente:

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

Respuesta de ejemplo:

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

Solución de problemas de permisos

Si has seguido los pasos del tutorial y sigues viendo errores de autenticación cuando intentas ingerir datos, es posible que el rol que escribe en una canalización no esté en la propia canalización Cuenta de AWS . En este caso, debe crear y asumir un rol que le permita específicamente incorporar datos. Para obtener instrucciones, consulte Provisión de acceso de ingesta entre cuentas.

Recursos relacionados

Este tutorial presenta un caso práctico sencillo de incorporación de un único documento a través de HTTP. En escenarios de producción, configurará las aplicaciones cliente (como Fluent Bit, Kubernetes o OpenTelemetry Collector) para que envíen datos a una o más canalizaciones. Es probable que sus canalizaciones sean más complejas que en el ejemplo sencillo de este tutorial.

Para empezar a configurar sus clientes e incorporar datos, consulte los siguientes recursos: