CloudWatch pipelines - Amazon CloudWatch

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

CloudWatch pipelines

Un pipeline de télémétrie collecte, traite et achemine des données telles que des journaux, des métriques et des traces provenant de diverses sources vers différentes destinations. CloudWatch les pipelines fournissent un moyen centralisé de collecter des données à partir de AWS services, d'applications tierces et de sources personnalisées. Le pipeline traite et transforme les données à l'aide d'un ensemble complet de processeurs, convertit les données dans des formats standard tels que l'Open Cybersecurity Schema Framework (OCSF) et achemine les données traitées vers des CloudWatch journaux.

Vous pouvez collecter des données à partir d'un large éventail de sources, notamment des AWS services, des applications tierces et vos propres sources personnalisées. Ces données sont ensuite traitées et transformées à l’aide de processeurs capables de normaliser les formats, de filtrer les informations inutiles et d’enrichir les données en ajoutant du contexte. Cela vous permet de convertir différents formats de données en schémas standardisés tels que OCSF, permettant ainsi une analyse unifiée de toutes vos sources de données.

Tout au long du pipeline, vos données restent protégées grâce au chiffrement de la couche de transport, garantissant ainsi le respect des exigences de sécurité et de conformité.

Note

Lorsque vous configurez des pipelines, n'oubliez pas que les définitions de pipeline ne sont pas cryptées et ne doivent jamais inclure de données sensibles, telles que des informations personnelles identifiables (PII).

Chaque pipeline comprend trois composants principaux :

  1. Source : définit l'origine de vos données (AWSservices, applications tierces ou sources personnalisées)

  2. Processeurs : configurez la manière dont vos données sont transformées, filtrées ou enrichies (facultatif)

    Note

    L'ajout de processeurs entraîne une mutation des événements du journal et les journaux originaux (bruts) ne sont pas conservés.

  3. Réservoir — Spécifiez où vos données traitées doivent être livrées

Pour commencer à utiliser les CloudWatch pipelines :

  1. Connectez-vous à la console AWS de gestion

  2. Naviguez vers CloudWatch.

  3. Choisissez Ingestion dans le panneau de navigation, puis sélectionnez l'onglet Pipelines.

  4. Choisissez Créer un pipeline.

Note

Soyez conscient des limites suivantes qui s'appliquent aux CloudWatch pipelines :

  • Nombre maximum de pipelines par compte : 330

    • Jusqu'à 300 pipelines pour collecter des données à partir de CloudWatch Logs

    • Jusqu'à 30 pipelines pour collecter des données provenant d'autres sources

CloudWatch les fonctionnalités des pipelines sont proposées dans le cadre de la tarification existante d'ingestion de données CloudWatch Logs sans frais supplémentaires, le comptage ayant lieu au moment de l'ingestion.

Les tarifs d'ingestion par classe de journaux existants pour les journaux vendus et personnalisés sont applicables. Par exemple, si vous ingérez 30 Go de journaux de classe standard personnalisés et que vous les traitez via un pipeline, l'ingestion des journaux coûterait 15 dollars par mois. Si vous ingérez et traitez des journaux personnalisés à accès peu fréquent, vous paierez 7,50 $/mois. Reportez-vous à la section CloudWatch Tarification pour plus de détails sur la tarification de l'ingestion des données de log.

L'ingestion de données provenant de sources de connecteurs 3P ou via un connecteur de compartiment S3 est considérée comme une ingestion de journaux personnalisés et suit la tarification d'ingestion de données de journal personnalisée. Le dosage a lieu au moment de la collecte des données relatives à l'ingestion dans. CloudWatch Les sources du connecteur 3P ou via un connecteur de compartiment S3 sont mesurées après le traitement. CloudWatch la mesure des sources de pipeline, y compris les sources de CloudWatch journaux Vended et personnalisées, a lieu au moment où les journaux sont reçus pour la première fois, c'est-à-dire avant leur traitement via un pipeline.

CloudWatch les pipelines sont disponibles dans les AWS régions suivantes.

Note

La collecte de sources de données tierces est disponible dans les régions où OpenSearch Ingestion possède des points de terminaison d'API.

  • USA Est (Ohio)

  • USA Est (Virginie du Nord)

  • USA Ouest (Californie du Nord)

  • US West (Oregon)

  • Asie-Pacifique (Hong Kong)

  • Asie-Pacifique (Malaisie)

  • Asie-Pacifique (Mumbai)

  • Asie-Pacifique (Osaka)

  • Asia Pacific (Seoul)

  • Asie-Pacifique (Singapour)

  • Asie-Pacifique (Sydney)

  • Asie-Pacifique (Thaïlande)

  • Asie-Pacifique (Tokyo)

  • Canada (Centre)

  • Europe (Francfort)

  • Europe (Irlande)

  • Europe (Londres)

  • Europe (Paris)

  • Europe (Espagne)

  • Europe (Stockholm)

  • Amérique du Sud (São Paulo)

Pour plus de détails, consultez la section CloudWatch Points de terminaison et quotas Amazon dans le Références générales AWS.

Rubriques