Criar a integração de uma fonte de dados do Amazon CloudWatch Logs com o OpenSearch Service - Amazon OpenSearch Service
Pré-requisitosProcedimentoPróximas etapasRecursos adicionais

Criar a integração de uma fonte de dados do Amazon CloudWatch Logs com o OpenSearch Service

Se você usar o Amazon OpenSearch sem Servidor para suas necessidades de observabilidade, agora poderá analisar os Amazon CloudWatch Logs sem copiar nem ingerir os dados no OpenSearch Service. Esse recurso aproveita a consulta direta para consultar dados, o que é semelhante a analisar dados do Amazon S3 no OpenSearch Service. Você pode começar criando uma nova fonte de dados conectada no AWS Management Console.

Você pode criar uma nova fonte de dados para analisar os dados do CloudWatch Logs sem precisar compilar o Amazon OpenSearch sem Servidor para consultar diretamente os logs operacionais do CloudWatch Logs. Isso permite que você analise seus dados operacionais acessados que ficam fora do OpenSearch Service. Ao fazer consultas entre o OpenSearch Service e o CloudWatch Logs, você pode começar a analisar logs no CloudWatch Logs e depois voltar a monitorar fontes de dados no OpenSearch sem precisar trocar de ferramenta.

Para usar esse atributo, você cria uma fonte de dados de consulta direta do CloudWatch Logs para o OpenSearch Service usando o AWS Management Console.

Pré-requisitos

Antes de começar, certifique-se de ter revisto a seguinte documentação:

Antes de criar uma fonte de dados, é preciso ter o seguintes recursos na sua Conta da AWS:

  • Habilite o CloudWatch Logs. Configure o CloudWatch Logs para coletar logs da mesma Conta da AWS em que se encontra o recurso OpenSearch. Para obter mais informações, consulte Introdução ao CloudWatch Logs no guia do usuário do Amazon CloudWatch Logs.

  • Um ou mais grupos de log do CloudWatch.É possível especificar os grupos de logs que contêm os dados que você deseja consultar. Para obter mais informações sobre a criação de um grupo de logs, consulte Criar um grupo de logs no CloudWatch Logs no Guia do usuário do Amazon CloudWatch Logs.

  • (Opcional) Um perfil do IAM criado manualmente.Você pode usar esse perfil para gerenciar o acesso à sua fonte de dados. Como alternativa, o OpenSearch Service pode criar automaticamente um perfil para você com as permissões necessárias. Se você escolher usar um perfil do IAM criado manualmente, siga as orientações em Permissões necessárias para perfis do IAM criados manualmente.

Procedimento

Você pode configurar uma fonte de dados de consulta no nível da coleção com o Console de gerenciamento da AWS.

Para configurar uma fonte de dados no nível da coleção usando o Console de gerenciamento da AWS

  1. Navegue para o console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/.

  2. No painel de navegação à esquerda, vá para Gerenciamento central e escolha Fontes de dados conectadas.

  3. Selecione Conectar.

  4. Escolha CloudWatch como o tipo de fonte de dados.

  5. Escolha Próximo.

  6. Em Detalhes da conexão de dados, insira um nome e uma descrição opcional.

  7. Em Perfis do IAM, escolha como gerenciar o acesso aos grupos de logs.

    1. Se quiser criar automaticamente um perfil para essa fonte de dados, siga estas etapas:

      1. Selecione Criar uma novo perfil.

      2. Insira um nome para a função do IAM.

      3. Selecione um ou mais grupos de logs para definir os dados que podem ser consultados.

    2. Se quiser usar um perfil existente que você mesmo gerencie, siga estas etapas:

      1. Selecione Usar perfil existente.

      2. Selecione um perfil existente no menu suspenso.

    nota

    Ao usar seu próprio perfil, você deve garantir que ele tenha todas as permissões necessárias anexando as políticas necessárias com o console do IAM. Para obter mais informações, consulte Permissões necessárias para perfis do IAM criados manualmente.

  8. (Opcional) Em Tags, adicione tags à fonte de dados.

  9. Escolha Próximo.

  10. Em Configurar o OpenSearch, escolha como configurar o OpenSearch.

    1. Use as configurações padrão:

      1. Revise os nomes de recurso padrão e as configurações de retenção de dados. Sugerimos que você use nomes personalizados.

        Quando você usa as configurações padrão, uma nova aplicação do OpenSearch e um espaço de trabalho do Essentials são criados sem custo adicional. O OpenSearch permite analisar várias fontes de dados. Ele inclui espaços de trabalho, que fornecem experiências personalizadas para casos de uso mais conhecidos. Os espaços de trabalho são compatíveis com controle de acesso, permitindo que você crie espaços privados para seus casos de uso e os compartilhe apenas com seus colaboradores.

    2. Use configurações personalizadas:

      1. Escolha Customize (Personalizar).

      2. Edite o nome da coleção e as configurações de retenção de dados conforme necessário.

      3. Selecione a aplicação e o espaço de trabalho do OpenSearch que você desejar usar.

  11. Escolha Próximo.

  12. Revise suas opções e escolha Editar se precisar fazer alguma alteração.

  13. Escolha Conectar para configurar a fonte de dados. Fique nesta página enquanto sua fonte de dados é criada. Quando ela ficar pronta, você será direcionado para a página de detalhes da fonte de dados.

Próximas etapas

Visitar o OpenSearch Dashboards

Depois que você criar uma fonte de dados, o OpenSearch Service fornecerá um URL do OpenSearch Dashboards. Você usa isso para configurar o controle de acesso, definir tabelas, configurar painéis baseados no tipo de log para os tipos de log mais conhecidos e consultar seus dados usando SQL ou PPL.

Para obter mais informações, consulte Configurar e consultar uma fonte de dados do CloudWatch Logs no OpenSearch Dashboards.

Recursos adicionais

Permissões necessárias para perfis do IAM criados manualmente

Ao criar uma fonte de dados, você escolhe um perfil do IAM para gerenciar o acesso aos dados. Você tem duas opções:

  1. Criar um novo perfil do IAM automaticamente

  2. Use um perfil do IAM existente que você criou manualmente

Se usar um perfil criado manualmente, você precisará anexar as permissões corretas a ele. As permissões devem autorizar o acesso à fonte de dados específica e permitir que o OpenSearch Service assuma o perfil. Isso é necessário para que o OpenSearch Service possa acessar e interagir com os dados em segurança.

O exemplo de política a seguir demonstra as permissões de privilégio mínimo necessárias para criar e gerenciar uma fonte de dados. Se você tiver permissões mais amplas, como logs:* ou a política AdminstratorAccess, essas permissões abrangem as permissões de privilégio mínimo na política de amostra.

No exemplo de política a seguir, substitua o texto do espaço reservado por suas próprias informações.

JSON

    {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "AmazonOpenSearchDirectQueryAllLogsAccess",
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups",
                "logs:StartQuery",
                "logs:GetLogGroupFields"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "111122223333"
                }
            },
            "Resource": [
                "arn:aws:logs:us-east-1:111122223333:log-group:*"
            ]
        }
    ]
}

O perfil também deve ter a seguinte política de confiança, que especifica o ID de destino.

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "TrustPolicyForAmazonOpenSearchDirectQueryService",
            "Effect": "Allow",
            "Principal": {
                "Service": "directquery.opensearchservice.amazonaws.com"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "ArnLike": {
                    "aws:SourceArn": "arn:aws:opensearch:us-east-1:111122223333:datasource/rolename"
                }
            }
        }
    ]
}

Para obter instruções sobre como criar o perfil, consulte Criar um perfil usando políticas de confiança personalizadas.

Por padrão, a função tem acesso somente aos índices da fonte de dados de consulta direta. Embora você possa configurar a função para limitar ou conceder acesso à sua fonte de dados, é recomendável não ajustar o acesso dessa função. Se você excluir a fonte de dados, essa função será excluída. Isso removerá o acesso de outros usuários se eles estiverem mapeados para a função.