本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# Amazon MSK 日志记录
您可以将 Apache Kafka 代理日志传送到以下一种或多种目标类型：亚马逊日 CloudWatch 志、亚马逊 S3、Amazon Data Firehose。您也可以使用记录亚马逊 MSK API 调用。 AWS CloudTrail
**注意**
MSK 标准和快递经纪商均提供经纪人日志。
## 代理日志
利用代理日志，您可以对 Apache Kafka 应用程序进行问题排查，并分析它们与 MSK 集群的通信。您可以将新的或现有 MSK 集群配置为将信息级别的代理日志传送到以下一种或多种目标资源： CloudWatch 日志组、S3 存储桶、Firehose 传输流。然后，您可以通过 Firehose 将传输流中的日志数据传送到 OpenSearch 服务。
在配置集群以向其传送代理日志之前，必须创建目标资源。如果尚不存在这些目标资源，Amazon MSK 也不会为您创建。有关这三种类型的目标资源以及如何创建这些资源的信息，请参阅以下文档：
+ [Amazon CloudWatch 日志](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html)
+ [Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/dev/Welcome.html)
+ [Amazon Data Firehose](https://docs.aws.amazon.com/firehose/latest/dev/what-is-this-service.html)
### 所需的权限
要为 Amazon MSK 代理日志配置目标，您用于 Amazon MSK 操作的 IAM 身份必须具有 [AWS 托管策略：Amazon A MSKFull ccess](security-iam-awsmanpol-AmazonMSKFullAccess.md) 策略中所述的权限。
要将代理日志流式传输到 S3 存储桶，您还需要 `s3:PutBucketPolicy` 权限。有关 S3 存储桶策略的信息，请参阅《Amazon S3 用户指南》中的[如何添加 S3 存储桶策略？](https://docs.aws.amazon.com/AmazonS3/latest/user-guide/add-bucket-policy.html)。有关 IAM 策略的一般信息，请参阅《IAM 用户指南》中的[访问管理](https://docs.aws.amazon.com/IAM/latest/UserGuide/access.html)。
### 与 SSE-KMS 存储桶结合使用时必需的 KMS 密钥政策
如果您使用带有客户托管密钥的 AWS KMS托管密钥 (SSE-KMS) 为 S3 存储桶启用了服务器端加密，请将以下内容添加到您的 KMS 密钥的密钥策略中，以便 Amazon MSK 可以将代理文件写入存储桶。
```
{
"Sid": "Allow Amazon MSK to use the key.",
"Effect": "Allow",
"Principal": {
"Service": [
"delivery.logs.amazonaws.com"
]
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*"
}
```
### 使用配置代理日志 AWS 管理控制台
如果您要创建新集群，请在**监控**部分中查找**代理日志传送**标题。您可以指定希望 Amazon MSK 向其传送代理日志的目标。
对于现有集群，请从集群列表中选择集群，然后选择**属性**选项卡。向下滚动到**日志传送**部分，然后选择其**编辑**按钮。您可以指定希望 Amazon MSK 向其传送代理日志的目标。
### 使用配置代理日志 AWS CLI
使用 `create-cluster` 或 `update-monitoring` 命令时，您可以选择指定 `logging-info` 参数并将类似如下的 JSON 结构传递给该参数。在此 JSON 中，所有三种目标类型都是可选的。
**注意**
要设置日志传输，必须在 Firehose 流上将 `LogDeliveryEnabled` 标签设置为 `true`。为 CloudWatch 日志 AWS 创建的服务相关角色使用此标签来授予所有 Firehose 传输流的权限。如果移除此标签，服务相关角色将无法向 Firehose 流传送日志。要查看显示服务相关角色所包含权限的 IAM 策略示例，请参阅 [A *mazon CloudWatch 用户指南*中用于资源权限的 IAM 角色](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AWS-logs-infrastructure-V2-Firehose.html)。
```
{
"BrokerLogs": {
"S3": {
"Bucket": "amzn-s3-demo-bucket",
"Prefix": "ExamplePrefix",
"Enabled": true
},
"Firehose": {
"DeliveryStream": "ExampleDeliveryStreamName",
"Enabled": true
},
"CloudWatchLogs": {
"Enabled": true,
"LogGroup": "ExampleLogGroupName"
}
}
}
```
### 使用 API 配置代理日志
您可以在 JSON 中指定传递给[CreateCluster](https://docs.aws.amazon.com/msk/1.0/apireference/clusters.html#CreateCluster)或[UpdateMonitoring](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn-monitoring.html#UpdateMonitoring)操作的可选`loggingInfo`结构。
**注意**
默认情况下，启用代理日志记录后，Amazon MSK 会将 `INFO` 级别日志记录到指定目标。[但是，对于标准代理，Apache Kafka 2.4.X 及更高版本的用户可以将代理日志级别动态设置为任何 log4j 日志级别。](https://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html)有关动态设置代理日志级别的信息，请参阅 [KIP-412: Extend Admin API to support dynamic application log levels](https://cwiki.apache.org/confluence/display/KAFKA/KIP-412%3A+Extend+Admin+API+to+support+dynamic+application+log+levels)。如果您将日志级别动态设置为 `DEBUG` 或 `TRACE`，我们建议使用 Amazon S3 或 Firehose 作为日志目标。如果您使用 CloudWatch 日志作为日志目标，并且动态启用`DEBUG`或`TRACE`级别日志记录，Amazon MSK 可能会持续提供日志样本。这可能会对代理性能带来显著影响，因此只有在 `INFO` 日志级别不够详细，无法确定问题的根本原因时才应使用。
# 使用记录 API 调用 AWS CloudTrail
**注意**
AWS CloudTrail 只有在您使用[IAM 访问控制](iam-access-control.md)时，日志才可用于 Amazon MSK。
Amazon MSK 与 AWS CloudTrail一项服务集成，该服务提供用户、角色或 AWS 服务在 Amazon MSK 中采取的操作的记录。 CloudTrail 将发出的 API 调用捕获为事件。捕获的调用包含来自 Amazon MSK 控制台的调用以及对 Amazon MSK API 操作的代码调用。它还会捕获 Apache Kafka 操作，例如创建和更改主题与组。
如果您创建了跟踪，则可以允许将 CloudTrail 事件持续传输到 Amazon S3 存储桶，包括 Amazon MSK 的事件。如果您未配置跟踪，您仍然可以在 CloudTrail 控制台的 “事件**历史记录” 中查看最新的事件**。使用收集的信息 CloudTrail，您可以确定向 Amazon MSK 或 Apache Kafka 操作发出的请求、发出请求的 IP 地址、谁发出了请求、何时发出请求以及其他详细信息。
要了解更多信息 CloudTrail，包括如何配置和启用它，请参阅《[AWS CloudTrail 用户指南》](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/)。
## 亚马逊 MSK 信息位于 CloudTrail
CloudTrail 在您创建账户时，您的亚马逊 Web Services 账户已启用。当 MSK 集群中出现支持的事件活动时，该活动会与其他 AWS 服务 CloudTrail 事件一起记录在**事件历史**记录中。您可以在 Amazon Web Services 账户中查看、搜索和下载最新事件。有关更多信息，请参阅[使用 CloudTrail 事件历史记录查看事件](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/view-cloudtrail-events.html)。
要持续记录 Amazon Web Services 账户中的事件（包括 Amazon MSK 的事件），请创建跟踪。*跟踪*允许 CloudTrail 将日志文件传输到 Amazon S3 存储桶。预设情况下，在控制台中创建跟踪时，此跟踪应用于所有 区域。此跟踪记录在 AWS 分区中记录所有区域中的事件，并将日志文件传送至您指定的 Amazon S3 存储桶。此外，您可以配置其他 Amazon 服务，以进一步分析和处理 CloudTrail 日志中收集的事件数据。有关更多信息，请参阅下列内容：
+ [创建跟踪概述](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-create-and-update-a-trail.html)
+ [CloudTrail 支持的服务和集成](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-aws-service-specific-topics.html#cloudtrail-aws-service-specific-topics-integrations)
+ [配置 Amazon SNS 通知 CloudTrail](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/getting_notifications_top_level.html)
+ [接收来自多个区域的 CloudTrail 日志文件](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/receive-cloudtrail-log-files-from-multiple-regions.html)和[接收来自多个账户的 CloudTrail 日志文件](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-receive-logs-from-multiple-accounts.html)
Amazon MSK 将所有 [Amazon MSK 操作](https://docs.aws.amazon.com/MSK/2.0/APIReference/operations.html)作为事件 CloudTrail 记录在日志文件中。此外，它还会记录以下 Apache Kafka 操作。
+ kafka 集群：DescribeClusterDynamicConfiguration
+ kafka 集群：AlterClusterDynamicConfiguration
+ kafka 集群：CreateTopic
+ kafka 集群：DescribeTopicDynamicConfiguration
+ kafka 集群：AlterTopic
+ kafka 集群：AlterTopicDynamicConfiguration
+ kafka 集群：DeleteTopic
每个事件或日志条目都包含有关生成请求的人员信息。身份信息有助于您确定以下内容：
+ 请求是使用根用户还是 AWS Identity and Access Management (IAM) 用户凭证发出。
+ 请求是使用角色还是联合用户的临时安全凭证发出的。
+ 请求是否由其他 AWS 服务发出。
有关更多信息，请参阅 [CloudTrail userIdentity 元素](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-event-reference-user-identity.html)。
## 示例：Amazon MSK 日志文件条目
跟踪是一种配置，允许将事件作为日志文件传输到您指定的 Amazon S3 存储桶。 CloudTrail 日志文件包含一个或多个日志条目。事件代表来自任何来源的单个请求，包括有关请求的操作、操作的日期和时间、请求参数等的信息。 CloudTrail 日志文件不是公共 API 调用和 Apache Kafka 操作的有序堆栈跟踪，因此它们不会按任何特定的顺序出现。
以下示例显示了演示`DescribeCluster`和 `DeleteCluster` Amazon MSK 操作的 CloudTrail 日志条目。
```
{
"Records": [
{
"eventVersion": "1.05",
"userIdentity": {
"type": "IAMUser",
"principalId": "ABCDEF0123456789ABCDE",
"arn": "arn:aws:iam::012345678901:user/Joe",
"accountId": "012345678901",
"accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
"userName": "Joe"
},
"eventTime": "2018-12-12T02:29:24Z",
"eventSource": "kafka.amazonaws.com",
"eventName": "DescribeCluster",
"awsRegion": "us-east-1",
"sourceIPAddress": "192.0.2.0",
"userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
"requestParameters": {
"clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
},
"responseElements": null,
"requestID": "bd83f636-fdb5-abcd-0123-157e2fbf2bde",
"eventID": "60052aba-0123-4511-bcde-3e18dbd42aa4",
"readOnly": true,
"eventType": "AwsApiCall",
"recipientAccountId": "012345678901"
},
{
"eventVersion": "1.05",
"userIdentity": {
"type": "IAMUser",
"principalId": "ABCDEF0123456789ABCDE",
"arn": "arn:aws:iam::012345678901:user/Joe",
"accountId": "012345678901",
"accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
"userName": "Joe"
},
"eventTime": "2018-12-12T02:29:40Z",
"eventSource": "kafka.amazonaws.com",
"eventName": "DeleteCluster",
"awsRegion": "us-east-1",
"sourceIPAddress": "192.0.2.0",
"userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
"requestParameters": {
"clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
},
"responseElements": {
"clusterArn": "arn:aws:kafka:us-east-1:012345678901:cluster/examplecluster/01234567-abcd-0123-abcd-abcd0123efa-2",
"state": "DELETING"
},
"requestID": "c6bfb3f7-abcd-0123-afa5-293519897703",
"eventID": "8a7f1fcf-0123-abcd-9bdb-1ebf0663a75c",
"readOnly": false,
"eventType": "AwsApiCall",
"recipientAccountId": "012345678901"
}
]
}
```
以下示例显示了演示该`kafka-cluster:CreateTopic`操作的 CloudTrail 日志条目。
```
{
"eventVersion": "1.08",
"userIdentity": {
"type": "IAMUser",
"principalId": "ABCDEFGH1IJKLMN2P34Q5",
"arn": "arn:aws:iam::111122223333:user/Admin",
"accountId": "111122223333",
"accessKeyId": "CDEFAB1C2UUUUU3AB4TT",
"userName": "Admin"
},
"eventTime": "2021-03-01T12:51:19Z",
"eventSource": "kafka-cluster.amazonaws.com",
"eventName": "CreateTopic",
"awsRegion": "us-east-1",
"sourceIPAddress": "198.51.100.0/24",
"userAgent": "aws-msk-iam-auth/unknown-version/aws-internal/3 aws-sdk-java/1.11.970 Linux/4.14.214-160.339.amzn2.x86_64 OpenJDK_64-Bit_Server_VM/25.272-b10 java/1.8.0_272 scala/2.12.8 vendor/Red_Hat,_Inc.",
"requestParameters": {
"kafkaAPI": "CreateTopics",
"resourceARN": "arn:aws:kafka:us-east-1:111122223333:topic/IamAuthCluster/3ebafd8e-dae9-440d-85db-4ef52679674d-1/Topic9"
},
"responseElements": null,
"requestID": "e7c5e49f-6aac-4c9a-a1d1-c2c46599f5e4",
"eventID": "be1f93fd-4f14-4634-ab02-b5a79cb833d2",
"readOnly": false,
"eventType": "AwsApiCall",
"managementEvent": true,
"eventCategory": "Management",
"recipientAccountId": "111122223333"
}
```