View a markdown version of this page

在 Amazon OpenSearch Ingestion 中扩展管道 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Amazon OpenSearch Ingestion 中扩展管道

OpenSearch Ingestion 会根据您指定的最小和最大摄取 OpenSearch 计算单位(摄入 OCU)自动扩展管道容量。这可消除对手动配置和管理的需要。

每个 Ingestion OCU 由大约 15 GiB 的内存和 2 个 vCPU 组成。您可以为管道指定最小和最大 OCU 值, OpenSearch Ingestion 会根据这些限制自动扩展您的管道容量。

在创建管道时指定以下值:

  • 最小容量 — 管道可以将容量缩减到此数量的 Ingestion OCU。指定的最小容量也是管道的起始容量。

  • 最大容量 — 管道可以将容量扩展到此数量的 Ingestion OCU。

“编辑容量” 对话框显示最小容量设置为 1,最大容量设置为 4 Ingestion-OCU。

确保管道的最大容量足够大,可以应对工作负载峰值,而且最小容量足够低,可以在管道不忙碌时最大限度地降低成本。 OpenSearch Ingestion 会根据您的设置自动扩展您的管道的摄取 OCU 数量,以处理采集工作负载。在任何具体时间,您都只需为您管道中正在被使用的 Ingestion OCU 付费。

分配给您的 OpenSearch Ingestion 管道的容量会根据管道的处理要求和客户端应用程序生成的负载向上和向下扩展。当容量受到限制时, OpenSearch Ingestion 会通过分配更多计算单元(GiB 内存)来扩大规模。当您的管道处理较小的工作负载或根本不处理数据时,它可以缩减到 Ingestion OCU 的最低配置。

注意

OpenSearch 摄取管道每个 Ingestion OCU 最多处理 150 个分片。如果您的管道源包含的分片数量超过了您配置的 OCU 数量上限所允许的数量,请考虑增加最大 OCU 容量或减少源中的分片数量。

您可以指定至少 1 个 Ingestion OCU,无状态管道最多 96 个 Ingestion OCU,有状态管道最多 48 个 Ingestion OCU。对于基于推送的源,建议至少有 2 个 Ingestion OCU。启用持久缓冲功能后,您可以指定最少 2 个、最多 384 个摄入 OCU。

一个具有单一源、一个简单的 grok 模式和一个接收器的标准日志管道,每个计算单位的支持可达每秒最多 2 MiB。对于具有多个处理器的更为复杂的日志管道,每个计算单位支持的摄取负载可能更少。根据管道容量和资源利用率, OpenSearch Ingestion 扩展过程开始了。

为确保高可用性,Ingestion OCU 分布在可用区 (AZ) 上。AZ 数量取决于指定的最小容量。

例如,如果您指定至少 2 个计算单位,则在任何给定时间使用的 Ingestion OCU 均匀分布在 2 个可用区上。如果您指定至少 3 个或更多计算单位,则 Ingestion OCU 将平均分布在 3 个可用区上。建议您预调配至少两个 Ingestion OCU,以确保摄取管道的可用性达到 99.9%。

当管道处于 Create failedCreatingDeletingStopped 状态时,您无需为 Ingestion OCU 付费。

有关配置和检索管道容量设置的说明,请参阅创建管道