Monitoramento dos logs de pipeline - Amazon OpenSearch Service
Permissões obrigatóriasHabilitar publicação de logs

Monitoramento dos logs de pipeline

Você pode habilitar o log dos pipelines de Ingestão do Amazon OpenSearch para expor mensagens de erro e aviso geradas durante as operações do pipeline e a atividade de ingestão. A Ingestão do OpenSearch publica todos os logs no Amazon CloudWatch Logs. O CloudWatch Logs pode monitorar informações nos arquivos de log e notificar você quando certos limites forem atingidos. É possível também arquivar seus dados de log em armazenamento resiliente. Para obter mais informações, consulte o Guia do usuário do Amazon CloudWatch Logs.

Os logs da Ingestão do OpenSearch podem indicar falhas no processamento de solicitações, erros de autenticação da origem até o coletor e outros avisos que podem ser úteis para a solução de problemas. Para seus logs, a Ingestão do OpenSearch usa os níveis de log de INFO, WARN, ERROR e FATAL. Recomendamos habilitar a publicação de logs para todos os pipelines.

Permissões obrigatórias

Para habilitar a Ingestão do OpenSearch para enviar logs para o CloudWatch Logs, você deve estar registrado como um usuário com certas permissões do IAM.

Você precisa das seguintes permissões do CloudWatch Logs para criar e atualizar os recursos de entrega de logs:

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Resource": "*",
            "Action": [
                "logs:CreateLogDelivery",
                "logs:PutResourcePolicy",
                "logs:UpdateLogDelivery",
                "logs:DeleteLogDelivery",
                "logs:DescribeResourcePolicies",
                "logs:GetLogDelivery",
                "logs:ListLogDeliveries"
            ]
        }
    ]
}

Habilitar publicação de logs

Você pode ativar a publicação de logs em pipelines existentes ou ao criar um pipeline. Para ver as etapas para habilitar a publicação de logs durante a criação do pipeline, consulte Como criar pipelines.

Para habilitar a publicação de logs em um pipeline existente

  1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/home.

  2. No painel de navegação à esquerda, selecione Pipelines.

  3. Abra o pipeline no qual você deseja habilitar logs e escolha Ações, Editar opções de publicação de log.

  4. Habilite Publicar no CloudWatch Logs.

  5. Crie um novo grupo de logs ou selecione um existente. Recomendamos que você formate o nome como um caminho, como /aws/vendedlogs/OpenSearchIngestion/pipeline-name/audit-logs. Esse formato facilita a aplicação de uma política de acesso do CloudWatch que concede permissões a todos os grupos de log em um caminho específico, como. /aws/vendedlogs/OpenSearchIngestion.

    Importante

    Você deve incluir o prefixo vendedlogs no nome do grupo de logs, caso contrário, a criação falhará.

  6. Escolha Salvar.

Para habilitar a publicação de logs usando o AWS CLI, envie a seguinte solicitação:

aws osis update-pipeline \
  --pipeline-name my-pipeline \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}