Fluxo de dados do CloudWatch Logs para o Amazon OpenSearch Service
Você pode configurar um grupo de logs no Amazon CloudWatch Logs para gerar um fluxo de dados para o cluster do Amazon OpenSearch Service quase em tempo real. Para obter mais informações, consulte Processamento em tempo real de dados de log com assinaturas.
nota
Streaming para o OpenSearch Service só é compatível com grupos de logs da classe de logs Padrão. Para obter mais informações sobre classes de logs, consulte Classes de logs.
Dependendo da quantidade de dados de log transmitidos no fluxo, considere definir um limite de simultaneidade ao nível da função. Para obter mais informações, consulte Escalabilidade de funções do Lambda.
nota
Como o fluxo de grandes quantidades de dados do CloudWatch Logs para o OpenSearch Service pode resultar em altos custos de uso, recomendamos que você crie um orçamento no console do Gerenciamento de Faturamento e Custos da AWS. Para obter mais informações, consulte Gerenciar seus custos com o AWS Budgets.
Esta seção descreve os pré-requisitos que você deve preencher antes de assinar um grupo de logs no OpenSearch Service. Descreve ainda como assinar um grupo de logs no OpenSearch Service.
Pré-requisitos
Antes de começar, crie um domínio do OpenSearch Service. O domínio pode ter acesso público ou acesso à VPC, mas você não poderá modificar o tipo de acesso depois que o domínio for criado. Talvez você queira revisar as configurações de domínio do serviço OpenSearch mais tarde e modificar a configuração do cluster com base na quantidade de dados que o cluster processará. Para obter instruções sobre como criar um domínio, consulte Criar domínios do OpenSearch Service.
Para obter mais informações sobre o serviço OpenSearch, consulte o Guia do desenvolvedor do Amazon OpenSearch Service.
Inscreva um grupo de logs no OpenSearch Service
Você pode usar o console do CloudWatch para inscrever um grupo de logs no OpenSearch Service.
Para inscrever um grupo de logs no OpenSearch Service
Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/
. -
No painel de navegação, escolha Grupos de logs.
-
Selecione o nome do grupo de logs.
-
Escolha Ações, filtros de assinatura, Criar filtro de assinatura do Amazon OpenSearch Service.
-
Escolha se deseja fazer streaming para um cluster nessa conta ou em outra conta.
-
Se você escolheu essa conta, selecione o domínio que criou na etapa anterior.
-
Caso tenha escolhido outra conta, forneça o ARN do domínio e o endpoint.
-
-
Em Lambda IAM Execution Role (Função de execução do IAM do Lambda), escolha a função do IAM que o Lambda deverá usar ao executar chamadas para o OpenSearch.
A função do IAM escolhida deve atender a estes requisitos:
-
Ela deve possuir
lambda.amazonaws.com.rproxy.govskope.cana relação de confiança. -
Ela deve incluir a seguinte política:
-
Se o domínio do OpenSearch Service de destino usar acesso VPC, a função deverá ter a política AWSLambdaVPCAccessExecutionRole anexada. Essa política gerenciada pela Amazon concede ao Lambda acesso à VPC do cliente, permitindo que o Lambda grave no endpoint do OpenSearch na VPC.
-
-
Em Log format, escolha um formato de log.
-
Em Subscription filter pattern (Padrão de filtro de assinatura), digite os termos ou o padrão a ser localizado nos eventos de log. Isso garante que você envie para o cluster do OpenSearch apenas os dados que interessam. Para obter mais informações, consulte Criar métricas de eventos de log usando filtros.
-
(Opcional) Em Select log data to test (Selecionar dados de log para testar), selecione um fluxo de logs e escolha Test pattern (Testar padrão) para verificar se o filtro de pesquisa está retornando os resultados esperados.
Selecione Start streaming (Iniciar transmissão).
