As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Consultando diretamente os dados do Amazon CloudWatch Logs no Service OpenSearch
Esta seção guiará você pelo processo de criação e configuração de uma integração de fonte de dados no Amazon OpenSearch Service, permitindo que você consulte e analise com eficiência seus dados armazenados no CloudWatch Logs.
Nas páginas a seguir, você aprenderá a configurar uma fonte de dados de consulta direta do CloudWatch Logs, navegar pelos pré-requisitos necessários e seguir os procedimentos usando o. step-by-step Console de gerenciamento da AWS
Tópicos
Preços
O Amazon OpenSearch Service oferece preços de Unidade OpenSearch de Computação (OCU) para consultas diretas de CloudWatch registros. Ao executar consultas diretas, você incorre em cobranças OCUs por hora, listadas como tipo de uso de DirectQuery OCU em sua fatura. Você também incorrerá em cobranças separadas da Amazon CloudWatch Logs.
Existem dois tipos de consultas diretas: consultas interativas e consultas de visão indexada.
-
As consultas interativas são usadas para preencher o seletor de dados e realizar análises em seus dados no Logs. CloudWatch OpenSearch O serviço processa cada consulta com uma tarefa pré-aquecida separada, sem manter uma sessão prolongada.
-
As consultas de visualização indexada usam computação para manter visualizações indexadas no Serviço. OpenSearch Essas consultas geralmente demoram mais porque ingerem uma quantidade variável de dados em um índice nomeado. Para fontes de dados conectadas ao CloudWatch Logs, os dados indexados são armazenados em uma coleção OpenSearch sem servidor, na qual você é cobrado pelos dados indexados (IndexingOcu), pelos dados pesquisados (SearchOCU) e pelos dados armazenados em GB.
Para obter mais informações, consulte as seções Direct Query e Serverless no Amazon OpenSearch Service
Limitações
As seguintes limitações se aplicam às consultas diretas no CloudWatch Logs:
-
A integração direta de consultas com o CloudWatch Logs está disponível somente nas coleções OpenSearch de serviços e na interface OpenSearch do usuário.
-
OpenSearch As coleções sem servidor têm limitações de carga útil em rede de 100 MiB.
-
CloudWatch O Logs oferece suporte ao VPC Flow e às integrações de AWS WAF painéis instaladas a partir do console. CloudTrail
-
AWS CloudFormation os modelos ainda não são compatíveis.
-
OpenSearch As instruções SQL e OpenSearch PPL têm limitações diferentes ao trabalhar com OpenSearch índices em comparação com o uso de consulta direta. A consulta direta oferece suporte a comandos avançados JOINs, como subconsultas e pesquisas, enquanto o suporte a esses comandos em OpenSearch índices é limitado ou inexistente. Para obter mais informações, consulte Comandos SQL e PPL compatíveis.
Recomendações
Recomendamos o seguinte ao usar consultas diretas no CloudWatch Logs:
-
Ao pesquisar vários grupos de logs em uma consulta, use a sintaxe adequada. Para saber mais, consulte Funções de vários grupos de logs.
-
Ao usar comandos SQL ou PPL, coloque certos campos entre crases para consultá-los com êxito. Acentos graves são necessários em campos com caracteres especiais (não alfabéticos e não numéricos). Por exemplo, coloque
@message,Operation.Export,eTest::Fieldentre acentos graves. Não é necessário colocar entre acentos graves campos com nomes puramente alfabéticos.Exemplo de consulta com campos simples:
SELECT SessionToken, Operation, StartTime FROM `LogGroup-A` LIMIT 1000;Consulta semelhante com acentos graves acrescentados:
SELECT `@SessionToken`, `@Operation`, `@StartTime` FROM `LogGroup-A` LIMIT 1000; -
Use limites em suas consultas para garantir que você não esteja recuperando muitos dados.
-
Consultas contendo nomes de campo idênticos, que diferem somente em maiúsculas e minúsculas (como
field1eFIELD1) não são compatíveis.Por exemplo, as seguintes consultas não são compatíveis:
Select AWSAccountId, AwsAccountId from LogGroup Select a.@LogStream, b.@logStream from Table A INNER Join Table B ona.id = b.idNo entanto, a seguinte consulta é compatível porque o nome do campo (@logStream) é idêntico em ambos os grupos de logs:
Select a.@logStream, b.@logStream from Table A INNER Join Table B on a.id = b.id -
As funções e expressões devem operar em nomes de campo e fazer parte de uma instrução
SELECTcom um grupo de logs especificado na cláusulaFROM.Por exemplo, esta consulta não é compatível:
SELECT cos(10) FROM LogGroupEsta consulta é compatível:
SELECT cos(field1) FROM LogGroup
Cotas
nota
Se você deseja realizar consultas diretas usando o CloudWatch Logs Insights, consulte. Informações adicionais para usuários do CloudWatch Logs Insights que usam OpenSearch SQL
| Description | Valor | Limite flexível? | Observações |
|---|---|---|---|
| Limite de TPS em nível de conta em consultas diretas APIs | 3 TPS | Sim | |
| Número máximo de fontes de dados | 20 | Sim | O limite é por Conta da AWS. |
| Máximo de índices ou visões materializadas com atualização automática | 30 | Sim | O limite é por fonte de dados. |
| Máximo de consultas simultâneas | 30 | Sim |
O limite é por fonte de dados e se aplica às consultas em estado pendente ou em execução. Inclui consultas interativas (por exemplo, comandos de recuperação de dados como |
| Máximo de OCUs simultâneas por consulta | 512 | Sim |
OpenSearch Unidades de computação (OCU). Limite baseado em 15 executores e 1 driver, cada um com 16 vCPU e 32 GB de memória. Representa o poder de processamento simultâneo. |
| Tempo máximo de execução de consulta em minutos | 60 | Não | O limite se aplica às consultas OpenSearch PPL/SQL no Logs Insights. CloudWatch |
| Período para limpar a consulta obsoleta IDs | 90 dias | Sim | Esse é o período após o qual o OpenSearch Serviço limpa os metadados da consulta de entradas mais antigas. Por exemplo, ligar GetDirectQuery ou GetDirectQueryResult falhar em consultas com mais de 90 dias. |
Suportado Regiões da AWS
Os itens a seguir Regiões da AWS são compatíveis com consultas diretas no CloudWatch Logs:
-
Ásia-Pacífico (Mumbai)
-
Ásia Pacífico (Hong Kong)
-
Ásia-Pacífico (Osaka)
-
Ásia-Pacífico (Seul)
-
Ásia-Pacífico (Singapura)
-
Ásia-Pacífico (Sydney)
-
Ásia-Pacífico (Tóquio)
-
Canadá (Central)
-
Europa (Frankfurt)
-
Europa (Irlanda)
-
Europa (Estocolmo)
-
Europa (Milão)
-
Europa (Espanha)
-
Leste dos EUA (Norte da Virgínia)
-
Leste dos EUA (Ohio)
-
Oeste dos EUA (Oregon)
-
Oeste dos EUA (N. da Califórnia)
-
Europa (Paris)
-
Europa (Londres)
-
América do Sul (São Paulo)