Configuración y consulta de una fuente de datos de S3 en los paneles OpenSearch - OpenSearch Servicio Amazon
Creación de tablas de Spark con Query WorkbenchConfigure integraciones para los tipos de registro más populares AWSCómo configurar el control de accesoConsulta de datosResolución de problemas

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configuración y consulta de una fuente de datos de S3 en los paneles OpenSearch

Ahora que ha creado su origen de datos, puede configurar los ajustes de seguridad, definir las tablas de Amazon S3 o configurar la indexación acelerada de datos. En esta sección, se explican varios casos de uso de la fuente de datos en los OpenSearch paneles de control antes de realizar consultas en los datos.

Para configurar las siguientes secciones, primero debe navegar hasta su fuente de datos en los OpenSearch paneles. En el menú de navegación izquierdo, en Administración, elija Origen de datos. En Administrar orígenes de datos, seleccione el nombre del origen de datos que creó en la consola.

Creación de tablas de Spark con Query Workbench

Las consultas directas de OpenSearch Service a Amazon S3 utilizan las tablas de Spark incluidas en AWS Glue Data Catalog. Puede crear tablas desde Query Workbench sin tener que salir de los OpenSearch paneles.

Para administrar las bases de datos y tablas existentes en el origen de datos, o para crear tablas nuevas en las que desee utilizar consultas directas, seleccione Query Workbench en el menú de navegación de la izquierda y elija el origen de datos de Amazon S3 en el menú desplegable de orígenes de datos.

Para configurar una tabla para los registros de flujo de VPC almacenados en S3 en formato Parquet, ejecute la siguiente consulta: 

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

Tras crear la tabla, ejecute la siguiente consulta para asegurarse de que es compatible con las consultas directas:

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable

Configure integraciones para los tipos de registro más populares AWS

Puede integrar los tipos de AWS registro almacenados en Amazon S3 con OpenSearch Service. Utilice los OpenSearch paneles para instalar integraciones que creen AWS Glue Data Catalog tablas, consultas guardadas y paneles. Estas integraciones utilizan vistas indexadas para mantener los paneles actualizados.

Para obtener instrucciones sobre cómo instalar una integración, consulte Instalación de un activo de integración en la documentación. OpenSearch

Cuando seleccione una integración, asegúrese de que tenga la etiqueta S3 Glue.

Al configurar la integración, especifique Conexión a S3 para el tipo de conexión. A continuación, seleccione el origen de datos para la integración, la ubicación de Amazon S3 de los datos, el punto de control para administrar la indexación de la aceleración y los activos necesarios para su caso de uso.

nota

Asegúrese de que el bucket de S3 de su punto de control tenga permisos de escritura para la ubicación del punto de control. Sin estos permisos, se producirá un error en las aceleraciones de la integración.

Cómo configurar el control de acceso

En la página de detalles de su origen de datos, busque la sección Controles de acceso y elija Editar. Si el dominio tiene habilitado un control de acceso detallado, elija Restringido y seleccione las funciones a las que desee proporcionar acceso al nuevo origen de datos. También puede elegir Solo administrador si solo quiere que el administrador tenga acceso al origen de datos.

importante

Los índices se utilizan para cualquier consulta realizada en el origen de datos. Un usuario con acceso de lectura al índice de solicitudes de un origen de datos determinado puede leer todas las consultas realizadas en ese origen de datos. Un usuario con acceso de lectura al índice de resultados puede leer los resultados de todas las consultas realizadas en ese origen de datos.

Consulta de datos de S3 en Discover OpenSearch

Después de configurar las tablas y configurar la aceleración de consultas opcional deseada, ya puede empezar a analizar sus datos. Para consultar sus datos, seleccione el origen de datos en el menú desplegable. Si utiliza Amazon S3 y OpenSearch Dashboards, vaya a Discover y seleccione el nombre de la fuente de datos.

Si utiliza un índice de omisión o no ha creado uno, puede utilizar SQL o PPL para consultar los datos. Si ha configurado una vista materializada o un índice de cobertura, ya tiene un índice y puede usar el lenguaje de consultas de Dashboards (DQL) en todo Dashboards. También puede usar PPL con el complemento Observabilidad y SQL con el complemento Query Workbench. Actualmente, solo los complementos Observabilidad y Query Workbench admiten PPL y SQL. Para consultar datos mediante la API de OpenSearch servicio, consulte la documentación de la API asíncrona.

nota

No se admiten todas las instrucciones, comandos y funciones de SQL y PPL. Para obtener una lista de los comandos admitidos, consulte Comandos SQL y PPL compatibles.

Si ha creado una vista materializada o un índice de cobertura, puede utilizar DQL para consultar sus datos, siempre que los haya indexado dentro.

Resolución de problemas

Puede haber casos en los que los resultados no devuelvan los resultados esperados. Si tiene algún problema, asegúrese de seguir las Recomendaciones para usar consultas directas en Amazon OpenSearch Service.