View a markdown version of this page

Registro em log do Amazon MSK - Amazon Managed Streaming for Apache Kafka
Logs do agenteLogs de autorizador

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Registro em log do Amazon MSK

O Amazon MSK suporta registros de corretores e autorizadores em corretores Standard e Express. Você pode entregar esses registros para um ou mais dos seguintes tipos de destino: Amazon CloudWatch Logs, Amazon S3, Amazon Data Firehose. Você também pode registrar chamadas de API do Amazon MSK com o. AWS CloudTrail

Você deve criar um recurso de destino antes de configurar seu cluster para entregar registros a ele. O Amazon MSK não cria esses recursos de destino para você se eles ainda não existirem. Para obter informações sobre esses três tipos de recursos de destino e como criá-los, consulte a seguinte documentação:

Logs do agente

Os logs de agente permitem solucionar problemas de aplicações do Apache Kafka e analisar as comunicações delas com o seu cluster do MSK. Você pode configurar seu cluster MSK novo ou existente para entregar registros do INFO-level broker para um ou mais dos seguintes tipos de recursos de destino: um grupo de CloudWatch logs, um bucket do S3, um stream de entrega do Firehose. Por meio do Firehose, você pode então entregar os dados de registro do seu stream de entrega ao OpenSearch Service.

Configure os registros do broker usando o AWS CLI

Quando você usar o comando create-cluster ou update-monitoring, poderá especificar o parâmetro logging-info opcionalmente e passar uma estrutura JSON para ele como o exemplo a seguir. Nesse JSON, todos os três tipos de destino são opcionais.

nota

Você deve definir a tag LogDeliveryEnabled como true nos fluxos do Firehose para configurar a entrega de logs. A função vinculada ao serviço que AWS cria para CloudWatch registros usa essa tag para conceder permissão para todos os fluxos de entrega do Firehose. Se você remover essa tag, a função vinculada ao serviço não poderá entregar logs ao stream do Firehose. Para ver um exemplo de uma política do IAM que mostra as permissões que a função vinculada ao serviço inclui, consulte Funções do IAM usadas para permissões de recursos no Guia do CloudWatch usuário da Amazon. 

{
  "BrokerLogs": {
    "S3": {
      "Bucket": "amzn-s3-demo-bucket",
      "Prefix": "ExamplePrefix",
      "Enabled": true
    },
    "Firehose": {
      "DeliveryStream": "ExampleDeliveryStreamName",
      "Enabled": true
    },
    "CloudWatchLogs": {
      "Enabled": true,
      "LogGroup": "ExampleLogGroupName"
    }
  }
}

Configurar logs de agentes usando a API

Você pode especificar a loggingInfo estrutura opcional no JSON que você passa para as UpdateMonitoring operações CreateCluster ou.

nota

Por padrão, quando o registro em log do agente estiver habilitado, o Amazon MSK registrará os logs no nível de INFO nos destinos especificados. No entanto, para corretores Standard e Express, os usuários do Apache Kafka 2.4.X e versões posteriores podem definir dinamicamente o nível de log do broker para qualquer um dos níveis de log log4j. https://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html Para obter informações sobre como definir dinamicamente o nível de log do broker, consulte KIP-412: Estender a API Admin para oferecer suporte a níveis dinâmicos de registro de aplicativos. Se você definir dinamicamente o nível de log como DEBUG ou TRACE, recomendamos usar o Amazon S3 ou o Firehose como o destino de logs. Se você usar CloudWatch registros como destino de registro e habilitar DEBUG ou TRACE nivelar dinamicamente o registro, o Amazon MSK poderá entregar continuamente uma amostra de registros. Isso pode afetar significativamente o desempenho do agente e só deve ser usado quando o nível de log INFO não for suficientemente detalhado para determinar a causa raiz de um problema.

Logs de autorizador

Os registros do autorizador capturam as decisões de autorização tomadas pelo seu cluster MSK. Você pode usar esses registros para monitorar os padrões de acesso do cliente e solucionar problemas de autorização. Você pode configurar seu cluster MSK para entregar registros do autorizador para um ou mais dos seguintes tipos de recursos de destino: um grupo de CloudWatch registros, um bucket do S3, um stream de entrega do Firehose.

Configure os registros do autorizador usando o AWS CLI

Quando você usar o comando create-cluster ou update-monitoring, poderá especificar o parâmetro logging-info opcionalmente e passar uma estrutura JSON para ele como o exemplo a seguir. Nesse JSON, todos os três tipos de destino são opcionais.

{
  "AuthorizerLogs": {
    "S3": {
      "Bucket": "amzn-s3-demo-bucket",
      "Prefix": "ExamplePrefix",
      "Enabled": true
    },
    "Firehose": {
      "DeliveryStream": "ExampleDeliveryStreamName",
      "Enabled": true
    },
    "CloudWatchLogs": {
      "Enabled": true,
      "LogGroup": "ExampleLogGroupName"
    }
  }
}

Configure os registros do autorizador usando a API

Você pode especificar a loggingInfo estrutura opcional no JSON que você passa para as UpdateMonitoring operações CreateCluster ou.

Permissões obrigatórias

Para configurar um destino para os registros do Amazon MSK, a identidade do IAM que você usa para as ações do Amazon MSK deve ter as permissões descritas na AWS política gerenciada: AmazonMSKFullAccess política.

Para transmitir registros para um bucket do S3, você também precisa da s3:PutBucketPolicy permissão. Para obter informações sobre as políticas de bucket do S3, consulte Como adiciono uma política de bucket do S3? no Guia do usuário do Amazon S3. Para obter informações sobre as políticas do IAM em geral, consulte Gerenciamento de acesso no Guia do usuário do IAM.

Política de chaves KMS necessária para uso com buckets SSE-KMS

Se você habilitou a criptografia do lado do servidor para seu bucket do S3 usando AWS KMS-managed keys (SSE-KMS) com uma chave gerenciada pelo cliente, adicione o seguinte à política de chaves da sua chave KMS para que o Amazon MSK possa gravar registros no bucket.

{
  "Sid": "Allow Amazon MSK to use the key.",
  "Effect": "Allow",
  "Principal": {
    "Service": [
      "delivery.logs.amazonaws.com"
    ]
  },
  "Action": [
    "kms:Encrypt",
    "kms:Decrypt",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*",
    "kms:DescribeKey"
  ],
  "Resource": "*"
}

Configure os registros usando o Console de gerenciamento da AWS

Se você estiver criando um novo cluster, procure o título Entrega de log do Broker ou Entrega de log do Autorizador na seção Monitoramento. Você pode especificar os destinos para os quais deseja que o Amazon MSK entregue seus registros.

Para um cluster existente, escolha o cluster na lista de clusters e selecione a guia Propriedades. Role para baixo até a seção Entrega de logs e escolha o botão Editar. Você pode especificar os destinos para os quais deseja que o Amazon MSK entregue seus registros.