Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Mise à l'échelle des pipelines dans Amazon OpenSearch Ingestion
OpenSearch L'ingestion adapte automatiquement la capacité du pipeline en fonction des unités de OpenSearch calcul d'ingestion (OCU d'ingestion) minimales et maximales que vous avez spécifiées. Cela élimine le besoin de provisionnement et de gestion manuels.
Chaque OCU d'ingestion est une combinaison d'environ 15 GiB de mémoire et de 2 vCPU. Vous pouvez spécifier les valeurs OCU minimales et maximales pour un pipeline, et OpenSearch Ingestion adapte automatiquement la capacité de votre pipeline en fonction de ces limites.
Vous spécifiez les valeurs suivantes lorsque vous créez un pipeline :
-
Capacité minimale — Le pipeline peut réduire sa capacité jusqu'à ce nombre d'OCU d'ingestion. La capacité minimale spécifiée est également la capacité de départ d'un pipeline.
-
Capacité maximale — Le pipeline peut augmenter sa capacité jusqu'à ce nombre d'OCU d'ingestion.
Assurez-vous que la capacité maximale d'un pipeline est suffisamment élevée pour gérer les pics de charge de travail, et que la capacité minimale est suffisamment faible pour minimiser les coûts lorsque le pipeline n'est pas occupé. En fonction de vos paramètres, OpenSearch Ingestion adapte automatiquement le nombre d'OCU d'ingestion pour votre pipeline afin de traiter la charge de travail d'ingestion. À tout moment, seuls les OCU d'ingestion qui sont activement utilisés par votre pipeline vous sont facturés.
La capacité allouée à votre pipeline d' OpenSearch ingestion augmente et diminue en fonction des exigences de traitement de votre pipeline et de la charge générée par votre application cliente. Lorsque la capacité est limitée, OpenSearch Ingestion augmente en allouant davantage d'unités de calcul (GiB de mémoire). Lorsque votre pipeline traite de petites charges de travail, ou qu'il ne traite pas de données du tout, il peut être réduit au minimum configuré pour les OCU d'ingestion.
Note
OpenSearch Les pipelines d'ingestion traitent un maximum de 150 fragments par OCU d'ingestion. Si les sources de votre pipeline contiennent plus de partitions que cette limite ne le permet pour votre nombre d'OCU configuré, envisagez d'augmenter la capacité OCU maximale ou de réduire le nombre de partitions dans votre source.
Vous pouvez spécifier un minimum d'une OCU d'ingestion, un maximum de 96 OCU d'ingestion pour les pipelines sans état et un maximum de 48 OCU d'ingestion pour les pipelines avec état. Nous recommandons un minimum de 2 OCU d'ingestion pour les sources basées sur le push. Lorsque la mise en mémoire tampon persistante est activée, vous pouvez spécifier un minimum de 2 et un maximum de 384 OCU d'ingestion.
Avec un pipeline de log standard avec une source unique, un modèle Grok simple et un récepteur, chaque unité de calcul peut prendre en charge jusqu'à 2 MiB par seconde. Pour les pipelines de journaux plus complexes avec plusieurs processeurs, chaque unité de calcul peut supporter une charge d'ingestion moindre. En fonction de la capacité du pipeline et de l'utilisation des ressources, le processus de mise à OpenSearch l'échelle de l'ingestion entre en jeu.
Pour garantir une haute disponibilité, les OCU d'ingestion sont réparties dans les zones de disponibilité (AZ). Le nombre d'AZ dépend de la capacité minimale que vous spécifiez.
Par exemple, si vous spécifiez un minimum de 2 unités de calcul, les OCU d'ingestion qui sont utilisées à un moment donné sont uniformément réparties sur 2 AZ. Si vous spécifiez au moins 3 unités de calcul ou plus, les OCU d'ingestion sont uniformément répartis sur 3 AZ. Nous vous recommandons de prévoir au moins deux OCU d'ingestion pour garantir une disponibilité de 99,9 % pour vos pipelines d'ingestion.
Les OCU d'ingestion ne vous sont pas facturées lorsqu'un pipeline se trouve dans les Create
failed états, CreatingDeleting, etStopped.
Pour obtenir des instructions sur la configuration et la récupération des paramètres de capacité d'un pipeline, consultezCréation de pipelines.
