Amazon MSK 快速代理 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon MSK 快速代理

预置 MSK 的快速代理简化了 Apache Kafka 的管理,提高了大规模运行的成本效益,并在预期的低延迟下更具弹性。代理包括可自动扩展的 pay-as-you-go存储,无需调整规模、配置或主动监控。根据所选实例大小,每个代理节点相较于标准 Apache Kafka 代理,可提供高达 3 倍的单代理吞吐量、20 倍的扩展速度,并将恢复速度提高 90%。快速代理预配置了 Amazon MSK 的最佳实践默认值,并强制执行客户端吞吐量配额,以最大限度地减少客户端与 Kafka 后台操作之间的资源争用。

以下是使用快速代理时需要考虑的一些关键因素和功能。

  • 无需管理存储:快速代理无需预配置或管理任何存储资源。您可以获得弹性、几乎无限量且完全托管的存储。 pay-as-you-go对于高吞吐量用例,无需考虑计算实例与存储卷之间的交互以及相关的吞吐量瓶颈。这些功能简化了集群管理,并消除了存储管理的操作开销。

  • 更快的扩展速度:快速代理扩展集群和移动分区的速度最高比标准代理快 20 倍。当需要横向扩展集群以应对即将到来的负载峰值,或横向缩减集群以降低成本时,此功能至关重要。有关扩展集群的更多详细信息,请参阅扩展集群移除代理、重新分配分区和设置 LinkedIn Cruise Control 进行再平衡的部分。

  • 更高的吞吐量:快速代理为提供的单代理吞吐量是标准代理的三倍之多。例如,对于每个 m7g.16xlarge 大小 Express 代理,您可以安全地以高达 500 MBps 的速度写入数据,而同等标准代理 MBps 上的数据写入速度为 153.8(这两个数字都假设为后台操作(例如复制和重新平衡)分配了足够的带宽)。

  • 采用高弹性配置:快速代理会自动提供各种最佳实践,以提高集群的弹性。其中包括针对关键 Apache Kafka 配置的安全护栏、吞吐量配额以及用于后台操作和计划外修复的容量预留。借助于这些功能,可以更安全、更轻松地运行大规模的 Apache Kafka 应用程序。有关更多详细信息,请参阅快速代理配置Amazon MSK 快速代理配额部分。

  • 无维护窗口:快速代理没有维护窗口。Amazon MSK 会持续自动更新集群硬件。有关更多详细信息,请参阅为快速代理打补丁

有关快速代理的其他信息

  • 快递代理使用 Apache Kafka APIs,但尚未完全支持 KStreams API。

  • 快递经纪商仅在 3 种AZs 配置中可用。

  • 快速代理仅适用于特定实例大小。有关更新的列表,请参阅 Amazon MSK 定价

  • 以下 Apache Kafka 版本支持 Express 代理:3.6、3.8 和 3.9。

  • 可以使用 Apache Kafka 版本 3.9 及以后的 KRaft 模式创建快递代理。

查看这些博客

有关 MSK 快速代理的更多信息,以及要查看在用快速代理的真实示例,请阅读以下博客: