Configuración y consulta de un origen de datos de S3 en OpenSearch Dashboards - Amazon OpenSearch Service
Creación de tablas de Spark con Query WorkbenchConfiguración de las integraciones para tipos de registro de AWS popularesCómo configurar el control de accesoConsulta de datosSolución de problemas

Configuración y consulta de un origen de datos de S3 en OpenSearch Dashboards

Ahora que ha creado su origen de datos, puede configurar los ajustes de seguridad, definir las tablas de Amazon S3 o configurar la indexación acelerada de datos. En esta sección, se explican varios casos de uso del origen de datos en OpenSearch Dashboards antes de realizar consultas en los datos.

Para configurar las siguientes secciones, primero debe navegar hasta el origen de datos en OpenSearch Dashboards. En el menú de navegación izquierdo, en Administración, elija Origen de datos. En Administrar orígenes de datos, seleccione el nombre del origen de datos que creó en la consola.

Creación de tablas de Spark con Query Workbench

Para las consultas directas de OpenSearch Service a Amazon S3 se utilizan las tablas de Spark incluidas en el AWS Glue Data Catalog. Puede crear tablas desde Query Workbench sin tener que salir de OpenSearch Dashboards.

Para administrar las bases de datos y tablas existentes en el origen de datos, o para crear tablas nuevas en las que desee utilizar consultas directas, seleccione Query Workbench en el menú de navegación de la izquierda y elija el origen de datos de Amazon S3 en el menú desplegable de orígenes de datos.

Para configurar una tabla para los registros de flujo de VPC almacenados en S3 en formato Parquet, ejecute la siguiente consulta: 

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

Tras crear la tabla, ejecute la siguiente consulta para asegurarse de que es compatible con las consultas directas:

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable

Configuración de las integraciones para tipos de registro de AWS populares

Puede integrar los tipos de registro de AWS almacenados en Amazon S3 con OpenSearch Service. Utilice OpenSearch Dashboards para instalar integraciones que crean tablas de AWS Glue Data Catalog, consultas guardadas y paneles. Estas integraciones utilizan vistas indexadas para mantener los paneles actualizados.

Para obtener instrucciones acerca de cómo instalar una integración, consulte Instalación de un activo de integración en la documentación de OpenSearch.

Cuando seleccione una integración, asegúrese de que tenga la etiqueta S3 Glue.

Al configurar la integración, especifique Conexión a S3 para el tipo de conexión. A continuación, seleccione el origen de datos para la integración, la ubicación de Amazon S3 de los datos, el punto de control para administrar la indexación de la aceleración y los activos necesarios para su caso de uso.

nota

Asegúrese de que el bucket de S3 de su punto de control tenga permisos de escritura para la ubicación del punto de control. Sin estos permisos, se producirá un error en las aceleraciones de la integración.

Cómo configurar el control de acceso

En la página de detalles de su origen de datos, busque la sección Controles de acceso y elija Editar. Si el dominio tiene habilitado un control de acceso detallado, elija Restringido y seleccione las funciones a las que desee proporcionar acceso al nuevo origen de datos. También puede elegir Solo administrador si solo quiere que el administrador tenga acceso al origen de datos.

importante

Los índices se utilizan para cualquier consulta realizada en el origen de datos. Un usuario con acceso de lectura al índice de solicitudes de un origen de datos determinado puede leer todas las consultas realizadas en ese origen de datos. Un usuario con acceso de lectura al índice de resultados puede leer los resultados de todas las consultas realizadas en ese origen de datos.

Consulta de datos de S3 en OpenSearch Discover

Después de configurar las tablas y configurar la aceleración de consultas opcional deseada, ya puede empezar a analizar sus datos. Para consultar sus datos, seleccione el origen de datos en el menú desplegable. Si utiliza Amazon S3 y OpenSearch Dashboards, vaya a Discover y seleccione el nombre del origen de datos.

Si utiliza un índice de omisión o no ha creado uno, puede utilizar SQL o PPL para consultar los datos. Si ha configurado una vista materializada o un índice de cobertura, ya tiene un índice y puede usar el lenguaje de consultas de Dashboards (DQL) en todo Dashboards. También puede usar PPL con el complemento Observabilidad y SQL con el complemento Query Workbench. Actualmente, solo los complementos Observabilidad y Query Workbench admiten PPL y SQL. Para consultar datos mediante la API de OpenSearch Service, consulte la documentación de la API asíncrona.

nota

No se admiten todas las instrucciones, comandos y funciones de SQL y PPL. Para obtener una lista de los comandos admitidos, consulte Comandos SQL y PPL compatibles.

Si ha creado una vista materializada o un índice de cobertura, puede utilizar DQL para consultar sus datos, siempre que los haya indexado dentro.

Solución de problemas

Puede haber casos en los que los resultados no devuelvan los resultados esperados. Si tiene algún problema, asegúrese de seguir las Recomendaciones para el uso de consultas directas en Amazon OpenSearch Service.