Concepts clés d'Amazon OpenSearch Ingestion

Du point de vue de OpenSearch l'ingestion, un pipeline fait référence à un collecteur de données provisionné unique que vous créez dans OpenSearch Service. Vous pouvez le considérer comme l'intégralité du fichier de configuration YAML, qui inclut un ou plusieurs sous-pipelines. Pour savoir comment créer un pipeline d'ingestion, consultezCréation de pipelines.

Vous définissez des sous-pipelines dans un fichier de configuration YAML. Chaque sous-pipeline est une combinaison d'une source, d'une mémoire tampon, de zéro processeur ou plus et d'un ou plusieurs puits. Vous pouvez définir plusieurs sous-pipelines dans un seul fichier YAML, chacun ayant des sources, des processeurs et des récepteurs uniques. Pour faciliter la surveillance avec CloudWatch et d'autres services, nous vous recommandons de spécifier un nom de pipeline distinct de celui de tous ses sous-pipelines.

Vous pouvez regrouper plusieurs sous-pipelines dans un seul fichier YAML, de sorte que la source d'un sous-pipeline soit un autre sous-pipeline et que son récepteur soit un troisième sous-pipeline. Pour obtenir un exemple, consultez Utilisation d'un pipeline OpenSearch d'ingestion avec OpenTelemetry Collector.

Composant d'entrée d'un sous-pipeline. Il définit le mécanisme par lequel un pipeline consomme des enregistrements. La source peut consommer des événements soit en les recevant via HTTPS, soit en les lisant à partir de points de terminaison externes tels qu'Amazon S3. Il existe deux types de sources : les sources basées sur le push et les sources basées sur la traction. Push-based les sources, telles que les journaux HTTP et OTel, diffusent les enregistrements vers les points de terminaison d'ingestion. Pull-basedles sources, telles que OTel trace et S3, extraient les données de la source.

Unités de traitement intermédiaires capables de filtrer, de transformer et d'enrichir les enregistrements dans le format souhaité avant de les publier dans le récepteur. Le processeur est un composant optionnel d'un pipeline. Si vous ne définissez pas de processeur, les enregistrements sont publiés dans le format défini dans la source. Vous pouvez avoir plusieurs processeurs. Un pipeline exécute les processeurs dans l'ordre dans lequel vous les définissez.

Composant de sortie d'un sous-pipeline. Il définit une ou plusieurs destinations vers lesquelles un sous-pipeline publie des enregistrements. OpenSearch L'ingestion prend en charge les domaines de OpenSearch service en tant que puits. Il prend également en charge les sous-pipelines en tant que puits. Cela signifie que vous pouvez regrouper plusieurs sous-pipelines au sein d'un seul pipeline d' OpenSearch ingestion (fichier YAML). Self-managed OpenSearch les clusters ne sont pas pris en charge en tant que puits.

Partie d'un processeur qui fait office de couche entre la source et le récepteur. Vous ne pouvez pas configurer manuellement une mémoire tampon dans votre pipeline. OpenSearch L'ingestion utilise une configuration de mémoire tampon par défaut.

Partie d'un processeur qui permet aux auteurs de pipelines d'envoyer uniquement des événements répondant à certaines conditions à différents puits.