在 Amazon OpenSearch Ingestion 中扩展管道 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Amazon OpenSearch Ingestion 中扩展管道

OpenSearch Ingestion 会根据您指定的最小和最大摄取 OpenSearch 计算单位（摄取）自动扩展管道容量。 OCUs这样就无需手动配置和管理。

每个 Ingestion OCU 都是大约 15 GiB 内存和 2 v 的组合。CPUs 您可以为管道指定最小和最大 OCU 值， OpenSearch Ingestion 会根据这些限制自动扩展您的管道容量。

在创建管道时，您可以指定以下值：

  • 最小容量 — 管道可以将容量减少到这个摄取 OCUs次数。指定的最小容量也是管道的起始容量。

  • 最大容量-管道可以将容量增加到该摄取 OCUs次数。

Edit capacity interface for pipeline capacity with min and max OCU settings.

确保管道的最大容量足够大，可以应对工作负载峰值，而且最小容量足够低，可以在管道不忙碌时最大限度地降低成本。根据您的设置， OpenSearch Ingestion 会自动调整管道的摄取数量，以处理采集 OCUs 工作负载。在任何特定时间，您只需为管道正在使用的 Ingestion OCUs 收取费用。

分配给您的 OpenSearch Ingestion 管道的容量会根据管道的处理要求和客户端应用程序生成的负载向上和向下扩展。当容量受到限制时， OpenSearch Ingestion 会通过分配更多计算单元（GiB 内存）来扩大规模。当您的管道处理较小的工作负载或根本不处理数据时，它可以缩减到最低配置的 Ingestion OCUs。

您可以指定至少 1 个摄入 OCU，为无状态管道指定最多 96 个摄入， OCUs 为有状态管道指定最多 48 个摄入。 OCUs 对于基于推送的来源，我们建议至少 2 次摄取 OCUs 。启用永久缓冲后，您可以指定最少 2，最大为 384 Ingestion。 OCUs

一个具有单一源、一个简单的 grok 模式和一个接收器的标准日志管道，每个计算单位的支持可达每秒最多 2 MiB。对于具有多个处理器的更为复杂的日志管道，每个计算单位支持的摄取负载可能更少。根据管道容量和资源利用率， OpenSearch Ingestion 扩展过程开始了。

为确保高可用性，Ingestion OCUs 分布在各个可用区 () AZs。的数量 AZs 取决于您指定的最小容量。

例如，如果您至少指定 2 个计算单元，则在任何给定时间 OCUs 使用的摄取均匀分布在 2 个计算单元。 AZs如果您至少指定 3 个或更多计算单元，则摄取将平均分布在 3 OCUs 个计算单元。 AZs我们建议您至少预配置两次 Ingestion，以确保采集管道 OCUs 的可用性达到 99.9%。

当管道处于Create failed、Creating、和状态 OCUs 时，您无需支付摄取费用。Deleting Stopped

有关配置和检索管道容量设置的说明，请参阅创建管道。