Escalar pipelines no Amazon OpenSearch Ingestion

O OpenSearch Ingestion dimensiona automaticamente a capacidade do pipeline com base em unidade de computação do OpenSearch (OCUs de ingestão) mínimas e máximas especificadas por você. Isso elimina a necessidade de provisionamento e gerenciamento manuais.

Cada OCU de ingestão é uma combinação de aproximadamente 15 GiB de memória e 2 vCPUs. Você pode especificar os valores mínimo e máximo de OCU para um pipeline, e a Ingestão do OpenSearch escala automaticamente a capacidade do pipeline com base nesses limites.

Você especifica os seguintes valores criar um pipeline:

Assegure-se de garantir que a capacidade máxima do pipeline seja alta o suficiente para lidar com picos da workload, e a capacidade mínima seja baixa o suficiente para minimizar os custos quando o pipeline não estiver ocupado. Com base em suas configurações, a Ingestão do OpenSearch escalará automaticamente o número de OCUs de suas coleções para processar o workload de ingestão. A qualquer momento específico, você será cobrado apenas pelas OCUs de ingestão que estão sendo usadas ativamente pelo seu pipeline.

A capacidade alocada para o pipeline da Ingestão do OpenSearch é expandida ou reduzida com base nos requisitos de processamento do pipeline e na carga gerada pela aplicação do cliente. Quando a capacidade é restrita, a Ingestão do OpenSearch aumenta a escala verticalmente, alocando mais unidades de computação (GiB de memória). Quando seu pipeline está processando cargas de trabalho menores ou não processando nenhum dado, ele pode reduzir a escala verticalmente até as OCUs de ingestão mínimas configuradas.

Você pode especificar um mínimo de 1 OCU de ingestão, um máximo de 96 OCUs de ingestão para pipelines sem estado e um máximo de 48 OCUs de ingestão para pipelines com estado. Recomendamos um mínimo de pelo menos 2 OCUs de ingestão para fontes baseadas em push. Quando o buffer persistente está habilitado, é possível especificar no mínimo 2 e no máximo 384 OCUs de ingestão.

Com um pipeline de log padrão com uma única fonte, um padrão Grok simples e um coletor, cada unidade computacional pode suportar até 2 MiB por segundo. Para pipelines de log mais complexos com vários processadores, cada unidade computacional pode suportar menos carga de ingestão. Com base na capacidade do pipeline e na utilização de recursos, o processo de escalabilidade da Ingestão do OpenSearch entra em ação.

Para garantir a alta disponibilidade, as OCUs de ingestão são distribuídas entre zonas de disponibilidade (AZs). O número de AZs depende da capacidade mínima que você especificar.

Por exemplo, se você especificar um mínimo de 2 unidades de computação, as OCUs de ingestão que estão em uso a qualquer momento serão distribuídas uniformemente em 2 AZs. Se você especificar um mínimo de 3 ou mais unidades de computação, as OCUs de ingestão serão distribuídas uniformemente em 3 AZs. Recomendamos que você provisione pelo menos duas OCUs de ingestão para garantir 99,9% de disponibilidade para seus pipelines de ingestão.

Você não paga pelas OCUs de ingestão quando um pipeline está nos estados Create failed, Creating, Deleting e Stopped.

Para obter instruções sobre como definir e recuperar as configurações de capacidade de um pipeline, consulte Como criar pipelines.