在 Amazon OpenSearch Ingestion 中扩展管道 - Amazon OpenSearch Service

在 Amazon OpenSearch Ingestion 中扩展管道

OpenSearch Ingestion 会根据您指定的最小和最大 Ingestion OpenSearch 计算单位（Ingestion OCU），自动扩缩管道容量。这可消除对手动配置和管理的需要。

每个 Ingestion OCU 由大约 15 GiB 的内存和 2 个 vCPU 组成。您可以为管道指定最小和最大 OCU 值，OpenSearch Ingestion 会根据这些限制自动扩缩您的管道容量。

在创建管道时指定以下值：

  • 最小容量 — 管道可以将容量缩减到此数量的 Ingestion OCU。指定的最小容量也是管道的起始容量。

  • 最大容量 — 管道可以将容量扩展到此数量的 Ingestion OCU。

Edit capacity interface for pipeline capacity with min and max OCU settings.

确保管道的最大容量足够大，可以应对工作负载峰值，而且最小容量足够低，可以在管道不忙碌时最大限度地降低成本。根据您的设置，OpenSearch Ingestion 将为您的管道自动扩缩 Ingestion OCU 数量，以处理摄取工作负载。在任何具体时间，您都只需为您管道中正在被使用的 Ingestion OCU 付费。

根据管道的处理要求和客户端应用程序生成的负载，分配给 OpenSearch Ingestion 管道的容量会扩展和缩减。当容量受到限制时，OpenSearch Ingestion 会通过分配更多计算单位（GiB 内存）来进行扩展。当您的管道处理较小的工作负载或根本不处理数据时，它可以缩减到 Ingestion OCU 的最低配置。

您可以指定至少 1 个 Ingestion OCU，无状态管道最多 96 个 Ingestion OCU，有状态管道最多 48 个 Ingestion OCU。对于基于推送的源，建议至少有 2 个 Ingestion OCU。启用持久缓冲功能后，您可以指定最少 2 个、最多 384 个摄入 OCU。

一个具有单一源、一个简单的 grok 模式和一个接收器的标准日志管道，每个计算单位的支持可达每秒最多 2 MiB。对于具有多个处理器的更为复杂的日志管道，每个计算单位支持的摄取负载可能更少。根据管道容量和资源利用率，OpenSearch Ingestion 扩展流程将启动。

为确保高可用性，Ingestion OCU 分布在可用区 (AZ) 上。AZ 数量取决于指定的最小容量。

例如，如果您指定至少 2 个计算单位，则在任何给定时间使用的 Ingestion OCU 均匀分布在 2 个可用区上。如果您指定至少 3 个或更多计算单位，则 Ingestion OCU 将平均分布在 3 个可用区上。建议您预调配至少两个 Ingestion OCU，以确保摄取管道的可用性达到 99.9%。

当管道处于 Create failed、Creating、Deleting 和 Stopped 状态时，您无需为 Ingestion OCU 付费。

有关配置和检索管道容量设置的说明，请参阅创建管道。