使用创建 MSK 预配置的集群 AWS Management Console - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用创建 MSK 预配置的集群 AWS Management Console

本主题中的过程描述了使用中的自定义创建选项创建 MSK 预配置集群的常见任务。 AWS Management Console使用中提供的其他选项 AWS Management Console，您还可以创建以下内容：

本主题中的程序

  1. 在 https://console.aws.amazon.com/msk/ 打开 Amazon MSK 控制台。

  2. 选择创建集群。

  3. 对于集群创建方法，请选择自定义创建。

  4. 在 “集群名称” 中，指定一个唯一且不超过 64 个字符的名称。

  5. 对于集群类型，选择已预置。

  6. 对于 Apache Kafka 版本，请选择要在代理上运行的版本。要查看每个 Apache Kafka 版本支持的 Amazon MSK 功能的比较，请选择查看版本兼容性。

  7. 在 “经纪人” 部分，执行以下操作：

    1. 对于经纪商类型，请选择以下选项之一：

      • 快递经纪人：具有完全托管的虚拟存储的高性能、可扩展的代理。为要求苛刻的高吞吐量应用程序选择此代理类型。

      • 标准经纪商：具有完全配置控制的传统 Kafka 代理。对于吞吐量要求适中的通用工作负载，请选择此代理类型。

      有关这些经纪商类型的更多信息，请参阅亚马逊 MSK 经纪商类型。

    2. 对于代理大小，请根据集群的计算、内存和存储需求选择要用于集群的大小。

    3. 在 “区域数量” 中，选择代理AWS 可用区分布的数量。

      为了提高可用性，快递经纪人需要三个可用区。

    4. 对于每个区域的经纪人，请指定您希望 Amazon MSK 在每个可用区中创建的代理数量。每个可用区的最小代理数量是每个可用区，每个集群的最小代理数为30个， ZooKeeper基于集群的最大值为KRaft每个集群 60 个代理。

此过程介绍如何跨所有代理配置数据存储需求并指定存储模式。这可以帮助您根据工作负载需求定义数据存储要求。此外，此过程还描述了控制代理操作方式的集群配置设置。这些设置包括代理配置、默认主题设置和分层存储策略。

  1. 如果您选择代理类型作为标准，请在 “存储” 部分执行以下操作：

    1. 对于存储，选择您希望集群拥有的初始存储量。创建集群后，您无法减少存储容量。

    2. （可选）根据您选择的代理大小（实例大小），您还可以指定每个代理的预配置存储吞吐量。此选项允许您为每个代理的 Amazon EBS 卷分配专用的输入和输出 (I/O) 性能。

      要启用此选项，请为 x86 选择代理大小（实例大小）kafka.m5.4xlarge 或更大，为基于 Graviton 的实例选择 kafka.m7g.2xlarge 或更大。然后，选中 “启用预配置存储吞吐量” 复选框。通过选中此复选框，您可以手动设置每秒至少 250 MiB 的吞吐量。这对于需要高速、可预测存储性能的 I/O 密集型工作负载或应用程序非常有用。有关更多信息，请参阅 为 Amazon MSK 集群中的标准代理配置存储吞吐量。

    3. 对于集群存储模式，请指定如何在集群中存储和管理数据。此选项决定了您的经纪人使用的存储类型和配置。请选择以下选项之一：

      • 仅限 EBS 存储：将所有主题数据本地存储在附加到每个代理的亚马逊弹性区块存储 (Amazon EBS) 卷上。选择此模式可满足一致的性能需求和快速访问最近的消息。

      • 分层存储和 EBS 存储：将本地 Amazon EBS 数据与 Amazon S3 中大型数据集的经济高效的远程存储相结合。此模式可降低 Amazon EBS 存储成本，支持更长的数据保留时间，并且无需人工干预即可自动扩展存储。如果您想以更低的成本将数据保留更长时间，或者预计存储需求会显著增长，请选择此模式。

    注意

    您无需为Express经纪人管理存储。

  2. 对于集群配置，请指定以下选项之一来定义集群的行为：

    • Amazon MSK 默认配置：包含一组针对通用用例进行了优化的预定义配置。选择此选项可快速设置和部署集群。有关 Amazon MSK 配置的信息，请参阅 亚马逊 MSK 预配置配置。

    • 自定义配置：允许您指定自己的代理和主题设置。您可以从列表中选择现有的自定义配置，也可以创建新的自定义配置。选择此选项可对您的经纪人进行微调控制，例如特定的性能调整、安全设置等。

  3. 选择下一步以继续。

网络配置定义了集群在 AWS 基础架构中的部署方式。这包括 VPC、可用区和子网，以及控制网络、可用性和访问权限的安全组。

  1. 对于联网，请执行以下操作：

    1. 选择要用于集群的 VPC。

    2. 根据您之前选择的可用区数量，指定要部署代理的可用区和子网。

      对于美国西部（加利福尼亚北部）地区的标准经纪商，您需要在两个不同的可用区中使用两个子网。在提供 Amazon MSK 的其余区域中，您可以指定两到三个子网。您的子网必须位于不同的可用区中。

      对于 Express 代理，您需要在三个不同的可用区中使用三个子网。

      在创建 MSK 预配置集群时，MSK 会将代理节点均匀地分布在您指定的子网上。

    3. 对于 Amazon 中的安全组 EC2，请选择或创建您想要授予集群访问权限的一个或多个安全组。这些 Amazon EC2 安全组控制您的经纪人的入站和出站流量。例如，客户机的安全组。

      如果您指定与您共享的安全组，则必须确保您具有使用它们的权限。具体来说，您需要 ec2:DescribeSecurityGroups 权限。有关更多信息，请参阅连接到 MSK 集群。

  2. 选择下一步以继续。

  1. 在 “安全设置” 部分中，执行以下操作：

    1. 选择以下一种或多种身份验证和授权方法来控制客户端对您的 Kafka 集群的访问：

      • 未经身份验证的访问：允许客户端在不提供任何身份验证凭据的情况下访问集群。此方法存在安全风险，可能不符合安全最佳实践。有关更多信息，请参阅 msk-unrestricted-access-check。

      • 基于 IAM 角色的身份验证：使用 I AWS AM 用户/角色启用客户端身份验证和授权。此方法通过 IAM 策略提供对集群访问的精细控制。我们建议已在中运行的应用程序使用此方法 AWS。

      • S@@ ASL/SCRAM 身份验证：要求客户端提供存储在中的 AWS Secrets Manager 用户名和密码凭据以进行身份验证。亚马逊 MSK 从 Secrets Manager 检索这些凭证并安全地对用户进行身份验证。

        要设置有关集群身份验证的登录凭据，请先在 Secrets Manager 中创建密钥资源。然后，将登录凭据与该密钥相关联。有关此访问控制方法的更多信息，请参阅为 Amazon MSK 集群设置 SASL/SCRAM 身份验证。

      • 通过 TLS 客户端身份验证 AWS Certificate Manager (ACM)：允许使用数字证书在客户端和代理之间进行相互身份验证。您必须将 AWS Private Certificate Authority (AWS Private CA) 配置为与您的集群相同或不同 AWS 账户 。

        我们强烈建议在实现 mT AWS Private CA LS 时对每个 MSK 集群使用独立的 s。这样可以确保由签名的 TLS 证书 PCAs 仅使用单个 MSK 集群进行身份验证，从而保持严格的访问控制。

  2. 在加密中，选择要用于加密静态数据的 KMS 密钥类型。有关更多信息，请参阅 Amazon MSK 静态加密。

    对静态数据进行加密可保护存储数据的完整性，而传输过程中的加密可保护数据机密性免受传输过程中的网络监控。

  3. 选择下一步以继续。

此过程介绍如何设置您的经纪商指标，以及如何收集和传送经纪商日志。通过这些设置，您可以观察和分析集群的运行状况、性能和故障排除问题。有关更多信息，请参阅 监控 Amazon MSK 预配置的集群。

  1. 对于此集群的 Amazon CloudWatch 指标，请选择以下监控级别之一。在每个监控级别收集的指标都与之集成， CloudWatch 用于可视化和警报。

    1. 基本监控：提供一组基本的集群级别指标，无需支付额外费用。此级别适用于大多数具有一般监控需求的用例。

    2. 增强经纪商级别的监控：提供详细的经纪商指标，但需额外付费。此级别包括基本监控和更精细的代理指标，例如分层存储指标其他代理 in/out 的字节数、总 read/write 操作时间。您需要为此级别的指标付费，而基本级别的指标仍然是免费的。

    3. 增强的主题级监控：为单个主题提供指标，但需额外付费。选择此级别可以更精细地了解各经纪商的话题表现。此级别包括增强的代理级别监控和主题级指标，例如指定主题的分层存储指标和每秒收到的消息数量。

    4. 增强的分区级监控：提供每个分区最精细的指标视图，但需额外付费。选择此级别可以跨代理捕获每个主题中每个分区的指标，从而获得最详细的监控。此级别包括增强的主题级监控和精细的分区特定指标，例如偏移延迟指标。

    有关标准和快递经纪商类型在每个监控级别上可用的指标的更多信息，请参阅CloudWatch 标准经纪商的指标和CloudWatch 快递经纪人的指标。

  2. （可选）如果要使用 JMX Exporter、Node Exporter 或两者兼而有之以 Prometheus 格式导出指标，请选择 “使用 Prometheus 启用开放式监控”。有关此选项的更多信息，请参阅 使用 Prometheus 进行监控。

  3. （可选）要将您的 MSK 集群配置 AWS 服务 为将代理日志传送到各种服务器以进行故障排除和审计，请选择以下一个或多个选项。如果尚不存在这些目标资源，Amazon MSK 也不会为您创建。有关更多信息，请参阅 代理日志。

    • 传送到 Amazon CloudWatch 日志： CloudWatch 使用集群、搜索和可视化功能将日志发送到。无需离开，即可查询和分析日志 AWS Management Console。

    • 传输到 Amazon S3：将日志作为文件存储在 Amazon S3 存储桶中，用于长期存档和批量分析。

    • 传输到亚马逊 Data Firehose：将日志发送到 Firehose，以便自动传送到亚马逊 OpenSearch 服务以进行实时故障排除。

  4. （可选）为了帮助识别、组织或搜索您的集群，请选择添加新标签以键值对的形式添加标签。例如，使用和的键值对向集群添加标签。Load testing Test

    有关在集群中使用标签的更多信息，请参阅为 Amazon MSK 集群添加标签。

  5. 选择下一步以继续。

  1. 查看集群的设置。

    选择 “编辑” 或 “上一步” 以更改您之前指定的任何设置或返回到之前的主机屏幕。

  2. 选择创建集群。

  3. 在集群详细信息页面的集群摘要部分中查看此集群的状态。在 Amazon MSK 预置集群时，状态从正在创建变为活动。当状态为活动时，您可连接到集群。有关集群状态的更多信息，请参阅了解 MSK 预配置的集群状态。