Creación de una integración de fuente de datos de Amazon S3 en OpenSearch Service

Puede crear una nueva fuente de datos de consulta directa de Amazon S3 para OpenSearch Service a través de la API Consola de administración de AWS o la API. Cada nueva fuente de datos la utiliza AWS Glue Data Catalog para administrar las tablas que representan los buckets de Amazon S3.

Requisitos previos

Antes de comenzar, asegúrese de que ha revisado la siguiente documentación:

Antes de poder crear una fuente de datos, debe disponer de los siguientes recursos: Cuenta de AWS

Procedimiento

Puede configurar una fuente de datos de consulta directa en un dominio con la API de OpenSearch servicio Consola de administración de AWS o con la API.

POST https://es.region.amazonaws.com/2021-01-01/opensearch/domain/domain-name/dataSource

{
   "DataSourceType": {
        "S3GlueDataCatalog": {
            "RoleArn": "arn:aws:iam::account-id:role/role-name"
        }
    }
   "Description": "data-source-description",
   "Name": "my-data-source"
}

Siguientes pasos

Visite los OpenSearch paneles

Después de crear una fuente de datos, OpenSearch Service le proporciona un enlace a los OpenSearch paneles de control. Puede usarlo para configurar el control de acceso, definir tablas, instalar out-of-the-box integraciones y consultar sus datos.

Para obtener más información, consulte Configuración y consulta de una fuente de datos de S3 en los paneles OpenSearch.

Asigne la función AWS Glue Data Catalog

Si ha habilitado un control de acceso detallado después de crear una fuente de datos, debe asignar a los usuarios que no sean administradores a una función de IAM con AWS Glue Data Catalog acceso para poder ejecutar consultas directas. Para crear manualmente un rol glue_access de backend que pueda asignar al rol de IAM, siga estos pasos:

Para obtener más información sobre la asignación de roles, consulte Mapear roles a usuarios.

Recursos adicionales

Permisos necesarios para los roles de IAM creados manualmente

Al crear un origen de datos para su dominio, elige un rol de IAM para administrar el acceso a sus datos. Tiene dos opciones:

Si utiliza un rol creado manualmente, debe asociar los permisos correctos al rol. Los permisos deben permitir el acceso a la fuente de datos específica y permitir que OpenSearch Service asuma la función. Esto es necesario para que el OpenSearch Servicio pueda acceder a sus datos e interactuar con ellos de forma segura.

El siguiente ejemplo de política muestra los permisos con privilegios mínimos necesarios para crear y administrar un origen de datos. Si tiene permisos más generales, como s3:* o la política de AdminstratorAccess, estos engloban los permisos con privilegios mínimos de la política de ejemplo.

En el siguiente ejemplo de política, placeholder text sustitúyalo por su propia información.

Para admitir buckets de Amazon S3 en diferentes cuentas, tendrá que incluir una condición en la política de Amazon S3 y agregar la cuenta adecuada.

En el siguiente ejemplo de estado, placeholder text sustitúyalo por su propia información.

"Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "{{accountId}}"
                }

El rol debe tener la siguiente política de confianza, que especifica el ID de destino.

Para obtener instrucciones sobre cómo crear los roles, consulte Creación de un rol mediante políticas de confianza personalizadas.

Si tiene activado el control de acceso detallado en el OpenSearch Servicio, se creará automáticamente un nuevo rol de control de acceso OpenSearch detallado para su fuente de datos. El nombre del nuevo rol de control de acceso detallado será AWS OpenSearchDirectQuery <name of data source>.

De forma predeterminada, el rol solo tiene acceso a los índices de orígenes de datos de consulta directa. Si bien puede configurar el rol para limitar o conceder el acceso a su origen de datos, se recomienda no ajustar el acceso de este rol. Si elimina el origen de datos, se eliminará este rol. Esto eliminará el acceso de los demás usuarios si están asignados al rol.