View a markdown version of this page

CloudWatch canalisations - Amazon CloudWatch
Composants du pipelineTarificationDisponibilité dans les Régions

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

CloudWatch canalisations

CloudWatch pipelines est un collecteur de données entièrement géré qui ingère, transforme et achemine les données de télémétrie, y compris les journaux et les métriques, depuis des AWS services, des applications tierces et des sources personnalisées vers. CloudWatch Built-in les processeurs vous permettent d'enrichir, de filtrer et de standardiser les journaux dans des formats tels que l'OCSF, sans gérer d'infrastructure ni d'outils tiers. Pour les métriques, les CloudWatch pipelines traitent et enrichissent OpenTelemetry (OTel) les métriques en ligne lors de leur ingestion dans. CloudWatch

CloudWatch pipelines est entièrement intégré à l'expérience de gestion des journaux, ce qui vous permet de traiter et d'enrichir de manière cohérente les données des journaux dans les groupes de journaux associés grâce à la spécification de la source de données et du type de données. Cela permet de débloquer des cas d'utilisation tels que :

  • Catégorisation automatique des journaux  : les journaux traités par le biais de pipelines sont automatiquement étiquetés avec les informations relatives à la source de données, ce qui permet une découverte et des requêtes centrées sur les services au sein de votre infrastructure

  • Extension du support tiers  : agrégez et normalisez les journaux provenant d'une bibliothèque croissante de sources tierces pour des analyses et une conformité unifiées

Pour les métriques, CloudWatch les pipelines permettent les cas d'utilisation suivants :

  • Enrichissement  : ajoutez un contexte commercial tel que l'équipe, le centre de coûts ou l'environnement aux métriques provenant de sources que vous ne pouvez pas modifier

  • Optimisation des coûts  : supprimez les attributs de cardinalité élevée pour réduire les coûts de stockage

  • Standardisation  : renommez les métriques et les attributs pour appliquer les conventions de dénomination

La sortie des pipelines est entièrement compatible avec les fonctionnalités CloudWatch des journaux, notamment les requêtes Logs Insights, la détection des anomalies dans les journaux et Live Tail. CloudWatch pipelines fonctionne à la fois avec les classes de log Standard et Infrequent Access et est rétrocompatible avec Log Transformers.

Pour les pipelines de métriques, les métriques traitées sont entièrement interrogeables via ProMQL dans Query Studio et compatibles avec les CloudWatch alarmes et la détection des anomalies.

Pour commencer à utiliser CloudWatch les pipelines, rendez-vous sur la page CloudWatch d'ingestion de la CloudWatch console.

Note

Soyez conscient des limites suivantes qui s'appliquent aux CloudWatch pipelines

  • Pipelines de journaux par compte : 330

    • Jusqu'à 300 pipelines pour collecter des données à partir de CloudWatch Logs

    • Jusqu'à 30 pipelines pour collecter des données provenant d'autres sources

  • Pipelines de métriques par compte : jusqu'à 300

  • Jusqu'à 20 processeurs par pipeline (journaux et métriques)

  • Chemin d'ingestion pris en charge par les pipelines de métriques : OTLP uniquement

Composants du pipeline

Chaque pipeline comprend les composants suivants :

  • Source  : définit l'origine des données (compartiments Amazon S3, CloudWatch Logs, CloudWatch Metrics (oTel), intégration tierce). Chaque pipeline doit avoir exactement une source. Les pipelines de métriques traitent les métriques OTel sur le chemin d'ingestion OTLP.

  • Processeurs (facultatif) : transformez, analysez et enrichissez les données de télémétrie au fur et à mesure qu'elles circulent dans le pipeline. Les processeurs sont appliqués de manière séquentielle dans l'ordre dans lequel ils ont été définis. Les pipelines de métriques prennent en charge un ensemble distinct de processeurs optimisés pour les attributs métriques OTel.

  • Sink  : définit la destination vers laquelle les données traitées sont envoyées. Les types d'éviers pris en charge incluent cloudwatch_logs etcloudwatch_metrics. Chaque canalisation doit avoir exactement un évier.

  • Extensions (facultatives) — Fournissez des fonctionnalités supplémentaires telles que l'intégration de AWS Secrets Manager pour la gestion des informations d'identification.

Tout au long du pipeline, vos données restent protégées par un cryptage de la couche de transport afin qu'elles répondent aux exigences de sécurité et de conformité.

Note

Les définitions de pipeline ne sont pas chiffrées à l'aide de clés fournies par le client et ne doivent jamais inclure de données sensibles, telles que des mots de passe, des clés d'API ou des informations personnelles identifiables (PII).

Note

L'ajout de processeurs entraîne une mutation des événements du journal et les journaux originaux (bruts) ne sont pas conservés.

Tarification

CloudWatch les pipelines sont inclus dans CloudWatch Logs sans frais supplémentaires. Les taux d'ingestion de journaux standard basés sur la classe de journaux (vendue ou personnalisée) et la classe de stockage (accès standard ou peu fréquent) s'appliquent toujours. Le dosage a lieu au moment de la première ingestion. CloudWatch CloudWatch Les sources de journaux sont mesurées avant le traitement du pipeline. Third-party et les sources de bucket S3 sont classées dans la catégorie des journaux personnalisés et mesurées après le traitement. Pour plus d'informations sur la tarification, consultez la page CloudWatch Pricing (Tarification).

Pour les pipelines de métriques, les frais d'ingestion et de stockage des métriques CloudWatch Otel standard s'appliquent. Il n'y a pas de frais supplémentaires pour le traitement des pipelines.

Disponibilité dans les Régions

CloudWatch les pipelines sont disponibles dans les AWS régions suivantes :

  • USA Est (Virginie du Nord)

  • USA Est (Ohio)

  • USA Ouest (Californie du Nord)

  • USA Ouest (Oregon)

  • Afrique (Le Cap)

  • Asie-Pacifique (Hong Kong)

  • Asie-Pacifique (Hyderabad)

  • Asie-Pacifique (Jakarta)

  • Asie-Pacifique (Malaisie)

  • Asie-Pacifique (Melbourne)

  • Asie-Pacifique (Mumbai)

  • Asie-Pacifique (Nouvelle Zélande)

  • Asie-Pacifique (Osaka)

  • Asia Pacific (Seoul)

  • Asie-Pacifique (Singapour)

  • Asie-Pacifique (Sydney)

  • Asie-Pacifique (Taipei)

  • Asie-Pacifique (Thaïlande)

  • Asie-Pacifique (Tokyo)

  • Canada (Centre)

  • Canada-Ouest (Calgary)

  • Europe (Francfort)

  • Europe (Irlande)

  • Europe (Londres)

  • Europe (Milan)

  • Europe (Paris)

  • Europe (Espagne)

  • Europe (Stockholm)

  • Europe (Zurich)

  • Israël (Tel Aviv)

  • Mexique (Centre)

  • Amérique du Sud (São Paulo)

Note

Third-party la collecte de sources de données est disponible dans les régions où OpenSearch Ingestion possède des points de terminaison d'API.

Pour plus de détails, consultez la section CloudWatch Points de terminaison et quotas Amazon dans le Références générales AWS.