了解连接器容量 - Amazon Managed Streaming for Apache Kafka

了解连接器容量

连接器的总容量取决于该连接器拥有的工作程序数量,以及每个工作程序的 MSK Connect 单位(MCU)数量。每个 MCU 代表 1 个 vCPU 的计算能力和 4GiB 的内存。MCU 内存与工作程序实例的总内存有关,而不是正在使用的堆内存。

MSK Connect 工作程序使用客户提供的子网中的 IP 地址。每个工作程序都使用客户提供的子网中的一个 IP 地址。您应确保在提供给 CreateConnector 请求的子网中有足够的可用 IP 地址以满足其指定容量,尤其是在自动缩放连接器时,其中的工作程序数量可能会波动。

要创建连接器,必须选择以下两种容量模式之一。

  • 已预置 – 如果您知道连接器的容量要求,请选择此模式。指定两个值:

    • 工作程序数量。

    • 每个工作程序的 MCU 数量。

  • 自动扩缩 – 如果连接器的容量要求各不相同,或者您事先不知道连接器的容量要求,请选择此模式。当您使用自动扩缩模式时,Amazon MSK Connect 会覆盖连接器的 tasks.max 属性,其值与连接器中运行的工作程序数量和每个工作程序的 MCU 数量成正比。

    指定三组值:

    • 最小和最大工作程序数量。

    • CPU 利用率的横向缩减百分比和横向扩展百分比,该百分比由 CpuUtilization 指标确定。当连接器的 CpuUtilization 指标超过横向扩展百分比时,MSK Connect 会增加连接器中运行的工作程序数量。当 CpuUtilization 指标低于横向缩减百分比时,MSK Connect 会减少工作程序数量。工作程序的数量将始终保持在创建连接器时指定的最小和最大数量之间。

    • 每个工作程序的 MCU 数量。

有关工作程序的更多信息,请参阅了解 MSK Connect 工作程序。要了解有关 MSK Connect 指标的信息,请参阅监控 Amazon MSK Connect