Recomendaciones para el uso de consultas directas en Amazon OpenSearch Service
En esta página, se proporcionan recomendaciones para utilizar las consultas directas de Amazon OpenSearch Service con fines de análisis de datos de Registros de CloudWatch, Amazon S3 y Amazon Security Lake. Estas prácticas recomendadas lo ayudan a optimizar el rendimiento y a garantizar una consulta eficiente sin necesidad de ingerir ni duplicar datos.
Temas
Recomendaciones generales
Se recomienda que lleve a cabo las siguientes acciones al utilizar la consulta directa:
-
Utilice la función
COALESCE SQLpara administrar las columnas que faltan y garantizar que se devuelvan los resultados.
-
Utilice límites en sus consultas para asegurarse de no recuperar demasiados datos.
-
Si planea analizar el mismo conjunto de datos muchas veces, cree una vista indexada para ingerir e indexar todos los datos en OpenSearch y elimínela cuando haya completado el análisis.
-
Elimine los índices y las tareas de aceleración cuando ya no sean necesarios.
-
No se admiten consultas que contengan nombres de campo idénticos pero que solo difieran en mayúsculas y minúsculas (como
field1yFIELD1).Por ejemplo, no se admiten las siguientes consultas:
Select AWSAccountId, AwsAccountId from LogGroup Select a.@LogStream, b.@logStream from Table A INNER Join Table B ona.id = b.idSin embargo, se admite la siguiente consulta porque el nombre del campo (@logStream) es idéntico en ambos grupos de registros:
Select a.@logStream, b.@logStream from Table A INNER Join Table B on a.id = b.id -
Las funciones y expresiones deben funcionar con los nombres de los campos y formar parte de una sentencia
SELECTcon un grupo de registros especificado en la cláusulaFROM.Por ejemplo, no se admite esta consulta:
SELECT cos(10) FROM LogGroupSe admite esta consulta:
SELECT cos(field1) FROM LogGroup
Recomendaciones para Amazon S3
Si utiliza Amazon OpenSearch Service para consultar datos directamente en Amazon S3, también le recomendamos lo siguiente:
-
Ingiera datos en Amazon S3 mediante formatos de partición de año, mes, día y hora para acelerar las consultas.
-
Al crear índices de omisión, utilice filtros Bloom para obtener campos con cardinalidad alta e índices con valores mínimos y máximos para rangos de valores amplios. Para los campos de cardinalidad alta, considere la posibilidad de utilizar un enfoque basado en valores para mejorar la eficiencia de las consultas.
-
Utilice Administración de estados de índice para mantener el almacenamiento de las vistas materializadas y los índices de cobertura.
Recomendaciones para Registros de CloudWatch
Si utiliza Amazon OpenSearch Service para dirigir las consultas de datos en Registros de CloudWatch, también le recomendamos lo siguiente:
-
Al buscar varios grupos de registros en una consulta, utilice la sintaxis adecuada. Para obtener más información, consulte Funciones de grupos de registros múltiples.
-
Cuando utilice comandos SQL o PPL, encierre determinados campos entre comillas invertidas para consultarlos correctamente. Las comillas invertidas son necesarias para los campos con caracteres especiales (no alfabéticos ni numéricos). Por ejemplo, encierre
@message,Operation.Export,yTest::Fieldentre comillas invertidas. No es necesario incluir las columnas con nombres exclusivamente alfabéticos entre comillas invertidas.Ejemplo de consulta con campos sencillos:
SELECT SessionToken, Operation, StartTime FROM `LogGroup-A` LIMIT 1000;Consulta similar con comillas invertidas agregadas:
SELECT `@SessionToken`, `@Operation`, `@StartTime` FROM `LogGroup-A` LIMIT 1000;
Recomendaciones para Security Lake
Si utiliza Amazon OpenSearch Service para realizar consultas directas de datos en Security Lake, también le recomendamos lo siguiente:
-
Compruebe el estado de Security Lake y asegúrese de que funcione sin problemas. Para ver los pasos detallados de solución de problemas, consulte Solución de problemas del estado del lago de datos en la Guía del usuario de Amazon Security Lake.
-
Compruebe el acceso a su consulta:
-
Si realiza consultas en Security Lake desde una cuenta diferente a la cuenta de administrador delegado de Security Lake, configure un suscriptor con acceso de consulta en Security Lake.
-
Si realiza consultas en Security Lake desde la misma cuenta, compruebe si hay algún mensaje en Security Lake acerca del registro de sus buckets de S3 administrados en LakeFormation.
-
-
Explore las plantillas de consulta y los paneles prediseñados para iniciar su análisis con rapidez.
-
Familiarícese con Open Cybersecurity Schema Framework (OCSF) y Security Lake:
-
Revise los ejemplos de asignación de esquemas para los orígenes de AWS en el repositorio de GitHub de OCSF
. -
A fin de aprender a realizar consultas de Security Lake de forma eficaz, visite las consultas de Security Lake para la versión 2 del origen de AWS (OCSF 1.1.0).
-
Mejore el rendimiento de las consultas mediante el uso de particiones:
accountid,regionytime_dt.
-
-
Familiarícese con la sintaxis de SQL, que Security Lake admite para realizar consultas. Para obtener más información, consulte Comandos y funciones OpenSearch SQL compatibles.