As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Consultando diretamente os dados do Amazon Security Lake no Service OpenSearch
Esta seção o guiará pelo processo de criação e configuração de uma integração de fonte de dados no Amazon OpenSearch Service, permitindo que você consulte e analise com eficiência seus dados armazenados no Security Lake.
Nas páginas a seguir, você aprenderá como configurar uma fonte de dados de consulta direta do Security Lake, navegar pelos pré-requisitos necessários e seguir os procedimentos usando o. step-by-step Console de gerenciamento da AWS
Tópicos
Preços
O Amazon OpenSearch Service oferece preços de Unidade OpenSearch de Computação (OCU) para consultas diretas do Security Lake. Ao executar consultas diretas, você incorre em cobranças OCUs por hora, listadas como tipo de uso de DirectQuery OCU em sua fatura. Você também incorrerá em cobranças separadas do Amazon Security Lake.
Existem dois tipos de consultas diretas: consultas interativas e consultas de visão indexada.
-
As consultas interativas são usadas para preencher o seletor de dados e realizar análises em seus dados no Security Lake. OpenSearch O serviço processa cada consulta com uma tarefa pré-aquecida separada, sem manter uma sessão prolongada.
-
As consultas de visualização indexada usam computação para manter visualizações indexadas no Serviço. OpenSearch Essas consultas geralmente demoram mais porque ingerem uma quantidade variável de dados em um índice nomeado. Para fontes de dados conectadas ao Security Lake, os dados indexados são armazenados em uma coleção OpenSearch sem servidor, na qual você é cobrado pelos dados indexados (IndexingOcu), pelos dados pesquisados (SearchOCU) e pelos dados armazenados em GB.
Para obter mais informações, consulte as seções Direct Query e Serverless no Amazon OpenSearch Service
Limitações
As seguintes limitações se aplicam às consultas diretas no Security Lake:
-
A integração direta de consultas com o Security Lake está disponível somente nas coleções OpenSearch de serviços e na interface OpenSearch do usuário.
-
OpenSearch As coleções sem servidor têm limitações de carga útil em rede de 100 MiB.
-
O gerenciamento de tabelas do Security Lake é realizado no Lake Formation.
-
O Security Lake apenas é compatível com visões materializadas como visões indexadas. Índices abrangentes não são compatíveis.
-
AWS CloudFormation os modelos ainda não são compatíveis.
-
OpenSearch As instruções SQL e OpenSearch PPL têm limitações diferentes ao trabalhar com OpenSearch índices em comparação com o uso de consulta direta. A consulta direta oferece suporte a comandos avançados JOINs, como subconsultas e pesquisas, enquanto o suporte a esses comandos em OpenSearch índices é limitado ou inexistente. Para obter mais informações, consulte Comandos SQL e PPL compatíveis.
Recomendações
Recomendamos o seguinte ao usar consultas diretas no Security Lake:
-
Verifique o status do Security Lake e garanta que ele esteja funcionando bem, sem nenhum problema. Para obter as etapas detalhadas de solução de problemas, consulte Solução de problemas de status de data lake no Guia do usuário do Amazon Security Lake.
-
Verifique seu acesso a consultas:
-
Se você for consultar o Security Lake de uma conta que não seja a conta de administrador delegado do Security Lake, configure um assinante com acesso a consultas no Security Lake.
-
Se você estiver consultando o Security Lake da mesma conta, verifique se há alguma mensagem no Security Lake sobre o registro de seus buckets S3 gerenciados com. LakeFormation
-
-
Explore os modelos de consulta e os painéis pré-compilados para acionar sua análise rapidamente.
-
Familiarize-se com o Open Cybersecurity Schema Framework (OCSF) e o Security Lake:
-
Analise exemplos de mapeamento de esquema para AWS fontes no repositório OCSF GitHub
-
Saiba como consultar o Security Lake de forma eficaz visitando as consultas do Security Lake para a versão de AWS origem 2 (OCSF 1.1.0)
-
Melhore a performance das consultas usando partições:
accountid,regionetime_dt
-
-
Familiarize-se com a sintaxe SQL, com a qual o Security Lake é compatível para consultas. Para obter mais informações, consulte Comandos e funções OpenSearch SQL compatíveis.
-
Use limites em suas consultas para garantir que você não esteja recuperando muitos dados.
Cotas
| Description | Valor | Limite flexível? | Observações |
|---|---|---|---|
| Limite de TPS em nível de conta em consultas diretas APIs | 3 TPS | Sim | |
| Número máximo de fontes de dados | 20 | Sim | O limite é por Conta da AWS. |
| Máximo de índices ou visões materializadas com atualização automática | 30 | Sim |
O limite se aplica por fonte de dados. Inclui apenas índices e visualizações materializadas (MVs) com atualização automática definida como verdadeira. |
| Máximo de consultas simultâneas | 30 | Sim |
O limite se aplica a consultas em estado pendente ou em execução. Inclui consultas interativas (por exemplo, comandos de recuperação de dados como |
| Máximo de OCUs simultâneas por consulta | 512 | Sim |
OpenSearch Unidades de computação (OCU). Limite baseado em 15 executores e 1 driver, cada um com 16 vCPU e 32 GB de memória. Representa o poder de processamento simultâneo. |
| Tempo máximo de execução de consulta em minutos | 30 | Não | Aplica-se somente a consultas interativas (por exemplo, comandos de recuperação de dados como SELECT). Para consultas REFRESH, o limite são 6 horas. |
| Período para limpar a consulta obsoleta IDs | 90 dias | Sim |
Esse é o período após o qual o OpenSearch Serviço limpa os metadados da consulta de entradas mais antigas. Por exemplo, ligar GetDirectQuery ou GetDirectQueryResult falhar em consultas com mais de 90 dias. |
Suportado Regiões da AWS
O seguinte Regiões da AWS é compatível com consultas diretas no Security Lake:
-
Ásia-Pacífico (Mumbai)
-
Ásia-Pacífico (Singapura)
-
Ásia-Pacífico (Sydney)
-
Ásia-Pacífico (Tóquio)
-
Canadá (Central)
-
Europa (Frankfurt)
-
Europa (Irlanda)
-
Europa (Estocolmo)
-
Leste dos EUA (Norte da Virgínia)
-
Leste dos EUA (Ohio)
-
Oeste dos EUA (Oregon)
-
Europa (Paris)
-
Europa (Londres)
-
América do Sul (São Paulo)
