Escalado de canalizaciones en Amazon OpenSearch Ingestion

OpenSearch Ingestion escala automáticamente la capacidad de las canalizaciones en función de las unidades de cómputo OpenSearch de ingesta (OCU de ingesta) mínimas y máximas que especifique. Esto elimina la necesidad de aprovisionamiento y administración manuales.

Cada OCU de ingesta es una combinación de aproximadamente 15 GiB de memoria y 2 vCPU. Puede especificar los valores de OCU mínimos y máximos para una canalización, y OpenSearch Ingestion escala automáticamente la capacidad de la canalización en función de esos límites.

Especifique los siguientes valores al crear una canalización:

Asegúrese de que la capacidad máxima de la canalización sea lo suficientemente alta como para administrar los picos de carga de trabajo y que la capacidad mínima sea lo suficientemente baja como para minimizar los costos cuando la canalización no esté ocupada. Según su configuración, OpenSearch Ingestion escala de forma automática la cantidad de OCU de ingesta de sus canalizaciones para procesar la carga de trabajo de ingesta. En cualquier momento dado, solo se le cobrarán las OCU de ingesta que se estén utilizando activamente en su canalización.

La capacidad asignada a su canalización de OpenSearch Ingestion se escala y se reduce verticalmente en función de los requisitos de procesamiento de la canalización y la carga generada por la aplicación cliente. Cuando la capacidad es limitada, OpenSearch Ingestion escala verticalmente mediante la asignación de más unidades de cómputo (GiB de memoria). Cuando la canalización procese cargas de trabajo más pequeñas o no procese datos en absoluto, puede reducir verticalmente hasta el mínimo de OCU de ingesta configuradas.

Puede especificar un mínimo de 1 OCU de ingesta, un máximo de 96 OCU de ingesta para las canalizaciones sin estado y un máximo de 48 OCU de ingesta para las canalizaciones con estado. Recomendamos un mínimo de 2 OCU de ingesta como mínimo para las fuentes push. Cuando el almacenamiento en búfer persistente esté activado, puede especificar un mínimo de 2 y un máximo de 384 OCU de ingesta.

Dada una canalización de registro estándar con una sola fuente, un patrón grok simple y un receptor, cada unidad de cómputo puede admitir hasta 2 MiB por segundo. En el caso de las canalizaciones de registro más complejas con varios procesadores, cada unidad de cómputo puede soportar una carga de ingesta menor. En función de la capacidad de la canalización y el uso de los recursos, se inicia el proceso de escalado de OpenSearch Ingestion.

Para garantizar una alta disponibilidad, las OCU de ingesta se distribuyen en las zonas de disponibilidad (AZ). La cantidad de AZ depende de la capacidad mínima que se especifique.

Por ejemplo, si especifica un mínimo de 2 unidades de cómputo, las OCU de ingesta que estén en uso en un momento dado se distribuyen uniformemente entre las 2 AZ. Si especifica un mínimo de 3 o más unidades de cómputo, las OCU de ingesta se distribuyen uniformemente en 3 AZ. Le recomendamos que aprovisione al menos dos OCU de ingesta para garantizar una disponibilidad del 99,9 % en sus canalizaciones de ingesta.

No se le facturan las OCU de ingesta cuando una canalización está en los estados Create failed, Creating, Deleting y Stopped.

Para ver instrucciones sobre cómo configurar y recuperar los ajustes de capacidad de una canalización, consulte Creación de canalizaciones.