Recomendações para o uso de consultas diretas no Amazon Service OpenSearch

Use limites em suas consultas para garantir que você não esteja extraindo muitos dados.

Se você planeja analisar o mesmo conjunto de dados várias vezes, crie uma visualização indexada para ingerir e indexar totalmente os dados OpenSearch e eliminá-los quando tiver concluído a análise.

Elimine trabalhos de aceleração e índices quando eles não forem mais necessários.

Consultas contendo nomes de campo idênticos, que diferem somente em maiúsculas e minúsculas (como field1 e FIELD1) não são compatíveis.

Por exemplo, as seguintes consultas não são compatíveis:

Select AWSAccountId, AwsAccountId from LogGroup
Select a.@LogStream, b.@logStream from Table A INNER Join Table B ona.id = b.id

No entanto, a seguinte consulta é compatível porque o nome do campo (@logStream) é idêntico em ambos os grupos de logs:

Select a.@logStream, b.@logStream from Table A INNER Join Table B on a.id = b.id

As funções e expressões devem operar em nomes de campo e fazer parte de uma instrução SELECT com um grupo de logs especificado na cláusula FROM.

Por exemplo, esta consulta não é compatível:

SELECT cos(10) FROM LogGroup

Esta consulta é compatível:

SELECT cos(field1) FROM LogGroup

Ingira dados no Amazon S3 usando formatos de partição de ano, mês, dia e hora para acelerar as consultas.

Ao criar índices ignorados, use filtros Bloom para campos com alta cardinalidade e min/max índices para campos com grandes intervalos de valores. Para campos de alta cardinalidade, considere usar uma abordagem baseada em valores para melhorar a eficiência das consultas.

Use o Index State Management para manter o armazenamento de visões materializadas e índices abrangentes.

Ao pesquisar vários grupos de logs em uma consulta, use a sintaxe adequada. Para saber mais, consulte Funções de vários grupos de logs.

Ao usar comandos SQL ou PPL, coloque certos campos entre crases para consultá-los com êxito. Acentos graves são necessários em campos com caracteres especiais (não alfabéticos e não numéricos). Por exemplo, coloque @message, Operation.Export, e Test::Field entre acentos graves. Não é necessário colocar entre acentos graves campos com nomes puramente alfabéticos.

Exemplo de consulta com campos simples:

SELECT SessionToken, Operation, StartTime  FROM `LogGroup-A`
LIMIT 1000;

Consulta semelhante com acentos graves acrescentados:

SELECT `@SessionToken`, `@Operation`, `@StartTime` FROM `LogGroup-A`
LIMIT 1000;

Verifique o status do Security Lake e garanta que ele esteja funcionando bem, sem nenhum problema. Para obter as etapas detalhadas de solução de problemas, consulte Solução de problemas de status de data lake no Guia do usuário do Amazon Security Lake.

Verifique seu acesso a consultas:

Explore os modelos de consulta e os painéis pré-compilados para acionar sua análise rapidamente.

Familiarize-se com o Open Cybersecurity Schema Framework (OCSF) e o Security Lake:

Familiarize-se com a sintaxe SQL, com a qual o Security Lake é compatível para consultas. Para saber mais, consulte Comandos e funções OpenSearch SQL compatíveis.