Recomendaciones para el uso de consultas directas en Amazon OpenSearch Service - Amazon OpenSearch Service

Recomendaciones para el uso de consultas directas en Amazon OpenSearch Service

En esta página, se proporcionan recomendaciones para utilizar las consultas directas de Amazon OpenSearch Service con fines de análisis de datos de Registros de CloudWatch, Amazon S3 y Amazon Security Lake. Estas prácticas recomendadas lo ayudan a optimizar el rendimiento y a garantizar una consulta eficiente sin necesidad de ingerir ni duplicar datos.

Recomendaciones generales

Se recomienda que lleve a cabo las siguientes acciones al utilizar la consulta directa:

  • Utilice la función COALESCE SQL para administrar las columnas que faltan y garantizar que se devuelvan los resultados.

  • Utilice límites en sus consultas para asegurarse de no recuperar demasiados datos.

  • Si planea analizar el mismo conjunto de datos muchas veces, cree una vista indexada para ingerir e indexar todos los datos en OpenSearch y elimínela cuando haya completado el análisis.

  • Elimine los índices y las tareas de aceleración cuando ya no sean necesarios.

  • No se admiten consultas que contengan nombres de campo idénticos pero que solo difieran en mayúsculas y minúsculas (como field1 y FIELD1).

    Por ejemplo, no se admiten las siguientes consultas:

    Select AWSAccountId, AwsAccountId from LogGroup Select a.@LogStream, b.@logStream from Table A INNER Join Table B ona.id = b.id

    Sin embargo, se admite la siguiente consulta porque el nombre del campo (@logStream) es idéntico en ambos grupos de registros:

    Select a.@logStream, b.@logStream from Table A INNER Join Table B on a.id = b.id
  • Las funciones y expresiones deben funcionar con los nombres de los campos y formar parte de una sentencia SELECT con un grupo de registros especificado en la cláusula FROM.

    Por ejemplo, no se admite esta consulta:

    SELECT cos(10) FROM LogGroup

    Se admite esta consulta:

    SELECT cos(field1) FROM LogGroup

Recomendaciones para Amazon S3

Si utiliza Amazon OpenSearch Service para consultar datos directamente en Amazon S3, también le recomendamos lo siguiente:

  • Ingiera datos en Amazon S3 mediante formatos de partición de año, mes, día y hora para acelerar las consultas.

  • Al crear índices de omisión, utilice filtros Bloom para obtener campos con cardinalidad alta e índices con valores mínimos y máximos para rangos de valores amplios. Para los campos de cardinalidad alta, considere la posibilidad de utilizar un enfoque basado en valores para mejorar la eficiencia de las consultas.

  • Utilice Administración de estados de índice para mantener el almacenamiento de las vistas materializadas y los índices de cobertura.

Recomendaciones para Registros de CloudWatch

Si utiliza Amazon OpenSearch Service para dirigir las consultas de datos en Registros de CloudWatch, también le recomendamos lo siguiente:

  • Al buscar varios grupos de registros en una consulta, utilice la sintaxis adecuada. Para obtener más información, consulte Funciones de grupos de registros múltiples.

  • Cuando utilice comandos SQL o PPL, encierre determinados campos entre comillas invertidas para consultarlos correctamente. Las comillas invertidas son necesarias para los campos con caracteres especiales (no alfabéticos ni numéricos). Por ejemplo, encierre @message, Operation.Export, y Test::Field entre comillas invertidas. No es necesario incluir las columnas con nombres exclusivamente alfabéticos entre comillas invertidas.

    Ejemplo de consulta con campos sencillos:

    SELECT SessionToken, Operation, StartTime FROM `LogGroup-A` LIMIT 1000;

    Consulta similar con comillas invertidas agregadas:

    SELECT `@SessionToken`, `@Operation`, `@StartTime` FROM `LogGroup-A` LIMIT 1000;

Recomendaciones para Security Lake

Si utiliza Amazon OpenSearch Service para realizar consultas directas de datos en Security Lake, también le recomendamos lo siguiente:

  • Compruebe el estado de Security Lake y asegúrese de que funcione sin problemas. Para ver los pasos detallados de solución de problemas, consulte Solución de problemas del estado del lago de datos en la Guía del usuario de Amazon Security Lake.

  • Compruebe el acceso a su consulta:

    • Si realiza consultas en Security Lake desde una cuenta diferente a la cuenta de administrador delegado de Security Lake, configure un suscriptor con acceso de consulta en Security Lake.

    • Si realiza consultas en Security Lake desde la misma cuenta, compruebe si hay algún mensaje en Security Lake acerca del registro de sus buckets de S3 administrados en LakeFormation.

  • Explore las plantillas de consulta y los paneles prediseñados para iniciar su análisis con rapidez.

  • Familiarícese con Open Cybersecurity Schema Framework (OCSF) y Security Lake:

  • Familiarícese con la sintaxis de SQL, que Security Lake admite para realizar consultas. Para obtener más información, consulte Comandos y funciones OpenSearch SQL compatibles.