Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Zero-ETL integración con Amazon OpenSearch Service

Amazon OpenSearch Service como destino

OpenSearch La integración de los servicios con Amazon DocumentDB le permite transmitir a los OpenSearch dominios eventos de carga completa y cambios de datos. La infraestructura de ingesta se aloja como canalizaciones de OpenSearch ingesta y proporciona un mecanismo de alta escala y baja latencia para transmitir datos de forma continua desde las colecciones de Amazon DocumentDB.

Durante la carga completa, la integración sin ETL extrae primero los datos históricos de carga completa para utilizarlos en una canalización de ingesta. OpenSearch Una vez ingeridos los datos a plena carga, las canalizaciones de OpenSearch ingesta comenzarán a leer los datos de los flujos de cambios de Amazon DocumentDB y, finalmente, se pondrán al día para mantener la coherencia de los datos casi en tiempo real entre Amazon DocumentDB y. OpenSearch OpenSearch almacena los documentos en índices. Los datos entrantes de una colección de Amazon DocumentDB se pueden enviar a un índice o se pueden dividir en índices diferentes. Las canalizaciones de ingesta sincronizan todos los eventos de creación, actualización y eliminación de una colección de Amazon DocumentDB a la vez que crean, actualizan y eliminan OpenSearch documentos para mantener sincronizados ambos sistemas de datos. Los canales de ingesta se pueden configurar para leer datos de una colección y escribirlos en un índice, o leer datos de una colección y enviarlos condicionalmente a varios índices.

Las canalizaciones de ingesta se pueden configurar para transmitir datos desde Amazon DocumentDB a Amazon Service mediante: OpenSearch

Para configurar la canalización de ingesta, siga estos pasos:

Paso 1: Cree un dominio de Amazon OpenSearch Service o una colección sin servidor OpenSearch

Se requiere una colección de Amazon OpenSearch Service con los permisos adecuados para leer los datos. Consulte Introducción a Amazon OpenSearch Service o Introducción a Amazon OpenSearch Serverless en la Guía para desarrolladores de Amazon OpenSearch Service para crear una colección. Consulte Amazon OpenSearch Ingestion en la Guía para desarrolladores de Amazon OpenSearch Service para crear un rol de AIM con los permisos correctos para acceder a los datos de escritura en la colección o el dominio.

Paso 2: habilitación de los flujos de cambios en el clúster de Amazon DocumentDB

Asegúrese de que los flujos de cambios estén habilitados en las colecciones requeridas del clúster de Amazon DocumentDB. Para obtener más información, consulte Uso de flujos de cambios con Amazon DocumentDB.

Paso 3: configuración del rol de canalización con permisos para escribir en el bucket de Amazon S3 y en el dominio o colección de destino

Una vez creada la colección de Amazon DocumentDB y habilitado el flujo de cambios, configure el rol de canalización que desee usar en la configuración de canalización y agregue los siguientes permisos al rol:

JSON

{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "allowReadAndWriteToS3ForExport",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:AbortMultipartUpload",
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket/export/*"
            ]
        }
    ]
}

Para que una OpenSearch canalización escriba datos en un OpenSearch dominio, el dominio debe tener una política de acceso a nivel de dominio que permita al rol de canalización sts_role_arn acceder a él. El siguiente ejemplo de política de acceso al dominio permite que el rol de canalización denominado pipeline-role, que creó en el paso anterior, escriba datos en el dominio denominado ingestion-domain:

{
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{your-account-id}:role/{pipeline-role}"
      },
      "Action": ["es:DescribeDomain", "es:ESHttp*"],
      "Resource": "arn:aws:es:{region}:{your-account-id}:domain/{domain-name}/*"
    }
  ]
}

Paso 4: Añade los permisos necesarios para crear el rol de canalización X-ENI

JSON

{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:420497401461:network-interface/*",
                "arn:aws:ec2:*:420497401461:subnet/*",
                "arn:aws:ec2:*:420497401461:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ "ec2:CreateTags" ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": { "aws:RequestTag/OSISManaged": "true" } 
            } 
        }
    ]
}

Paso 5: creación de la canalización

Configure una canalización de OpenSearch ingesta especificando Amazon DocumentDB como fuente. En este ejemplo de configuración de canalización se presupone el uso de un mecanismo de obtención del flujo de cambios. Para obtener más información, consulte Uso OpenSearch de una canalización de ingesta con Amazon DocumentDB en la Guía para desarrolladores OpenSearch de Amazon Service.

Limitaciones

Se aplican las siguientes limitaciones a la integración de Amazon OpenSearch DocumentDB: