Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Découverte et gestion des sources de données
CloudWatch Logs découvre et classe automatiquement les données de vos journaux par source de données et par type, ce qui facilite la compréhension et la gestion de vos journaux à grande échelle. Cette fonctionnalité permet de découvrir des schémas pour des AWS sources vendues telles qu'Amazon VPC Flow Logs et Route 53 CloudTrail, ainsi que pour des outils de sécurité tiers.
La console de gestion des journaux fournit une vue de haut niveau de vos journaux organisés par source de données et par type, plutôt que simplement par groupes de journaux. Cette organisation vous aide à :
-
Afficher les journaux classés par AWS services, sources tierces (telles que Okta ou CrowdStrike) et sources personnalisées
-
Comprenez automatiquement le schéma et la structure de vos données de journal
-
Créez des politiques d'index de champs basées sur les champs de schéma découverts
-
Gérez les journaux plus efficacement dans les différentes sources de données
-
Journaux de requêtes par différentes sources de données
Lorsque vous activez la journalisation CloudWatch des journaux pour les AWS services pris en charge, CloudWatch Logs applique automatiquement le schéma approprié à vos journaux. Cette application de schéma automatique permet de maintenir la cohérence et fournit des informations immédiates sur la structure de vos journaux.
Qu'est-ce que les sources de données CloudWatch Logs ?
CloudWatch Les sources de données des journaux sont une fonctionnalité qui fournit une nouvelle façon d'organiser et de classer les données de vos journaux en fonction de la source qui les génère. Alors que CloudWatch Logs utilise traditionnellement des groupes de journaux pour organiser les journaux, les sources de données offrent une couche d'organisation supplémentaire qui regroupe les journaux en fonction de leur service d'origine et de leur type de journal.
Comment fonctionnent les sources de données
Les sources de données fournissent une organisation des journaux basée sur les services et une découverte simplifiée au sein de votre AWS infrastructure. Vous pouvez facilement localiser les journaux provenant de services spécifiques et les filtrer par type de journal sans avoir à connaître les noms ou les structures des groupes de journaux individuels.
Pour les sources tierces et éventuellement pour les sources de journaux d'applications, les sources de données fonctionnent avec des CloudWatch pipelines pour classer vos journaux. Lorsque vous configurez un pipeline pour ingérer et transformer des journaux, vous spécifiez le nom et le type de la source de données. CloudWatch Logs classe ensuite automatiquement tous les journaux traités par le pipeline. Pour plus d'informations, consultez la section sur les CloudWatch pipelines dans le guide de CloudWatch l'utilisateur Amazon.
Les sources de données classent les journaux à l'aide de deux identifiants clés :
-
Nom de la source de données : le AWS service, la source tierce ou l'application qui génère les journaux (par exemple, Route 53, Amazon VPC CloudTrail, Okta SSO ou Falçon). CrowdStrike
-
Type de source de données : type spécifique de journal généré par ce service.
Un schéma définit la structure des données du journal, notamment les champs présents et la manière dont les informations sont organisées. Une source de données unique peut produire plusieurs types de journaux avec des schémas et des objectifs différents. Par exemple, la source de AWS CloudTrail données est de deux types : les événements de gestion (qui suivent les opérations du plan de contrôle telles que la création ou la suppression de ressources) et les événements de données (qui suivent les opérations du plan de données telles que l'accès aux objets S3). Chaque type possède un schéma différent car ils capturent différents types d'informations.
Comment démarrer
CloudWatch Logs classe vos journaux dans des sources de données en fonction de leur origine. La méthode dépend du type de journaux que vous utilisez :
Service AWS journaux
Les journaux pris en charge Services AWS sont automatiquement regroupés par source de données sans aucune configuration requise. CloudWatch Logs reconnaît ces journaux et applique le nom et le type de source de données appropriés en fonction du service d'origine.
Logs tiers
Les journaux tiers nécessitent des pipelines pour la catégorisation des sources de données. Lorsque vous configurez un pipeline pour ingérer des journaux provenant de sources tierces prises en charge telles que Microsoft Office 365, Okta ou Palo Alto Networks CrowdStrike, vous spécifiez le nom de la source de données et saisissez la configuration du pipeline. CloudWatch Logs classe automatiquement tous les journaux traités par le pipeline à l'aide de ces identifiants.
Les pipelines peuvent éventuellement transformer des journaux tiers au format Open Cybersecurity Schema Framework (OCSF) pour une analyse standardisée des événements de sécurité. Lorsque la transformation OCSF est activée, le nom et le type de la source de données sont automatiquement déterminés en fonction du mappage du schéma OCSF. Sans transformation OCSF, vous spécifiez le nom et le type de la source de données dans la configuration du pipeline.
Journaux d'application
Pour les journaux d'applications personnalisés, vous pouvez les classer par source de données à l'aide de l'une des méthodes suivantes :
-
Balises de groupes de journaux : ajoutez des balises à vos groupes de journaux à l'aide des clés
cw:datasource:nameetcw:datasource:typepour spécifier respectivement le nom et le type de la source de données pour tous les journaux ingérés dans le groupe de journaux. Les valeurs des balises peuvent comporter jusqu'à 64 caractères et ne contenir que des lettres minuscules, des chiffres et des traits de soulignement. Ils doivent commencer par une lettre ou un chiffre et ne doivent pas contenir de traits de soulignement doubles (__). -
Configuration du pipeline : configurez les informations des sources de données via des pipelines de traitement des journaux lors de l'ingestion des journaux de votre application.
Note
Les noms des sources de données ne peuvent pas commencer par « aws » ou « amazon » pour éviter tout conflit avec les journaux AWS de service.
Champs du système
CloudWatch Logs ajoute automatiquement trois champs système aux journaux classés par source de données. Ces champs servent de facettes par défaut :
-
@data_source_name- Contient le nom de la source de données, ou « Inconnu » s'il n'est pas déterminé -
@data_source_type- Contient le type de source de données, ou « Inconnu » s'il n'est pas déterminé -
@data_format- Indique le format des données du journal
Lorsque le nom ou le type de la source de données ne peuvent pas être déterminés, ces champs sont définis sur « Inconnu ». Les sources de données dont les valeurs sont « inconnues » sont toujours visibles par facettes et dans le tableau des sources de données sous « Gestion des journaux » dans la console, ce qui vous permet d'identifier les journaux non classés et de quel groupe de journaux ils proviennent.
Le @data_format champ peut contenir l'une des valeurs suivantes :
-
Default- Logs ingérés sans modification. -
Custom- Journaux traités par le biais de processeurs de pipeline ou journaux ingérés dans un groupe de journaux avec des name/type balises de source de données. -
OCSF-<version>- Logs traités avec les processeurs OCSF (Open Cybersecurity Schema Framework) dans des pipelines. -
AWS-OTEL-LOG-V<version>- OpenTelemetry journaux ingérés via le point de terminaison CloudWatch OTLP. -
AWS-OTEL-TRACE-V<version>- OpenTelemetry traces ingérées via le point de terminaison CloudWatch OTLP.
Ces champs système vous permettent de filtrer et d'interroger vos journaux en fonction de leur source et de leur format, ce qui facilite l'utilisation de journaux provenant de différentes origines et de différents pipelines de traitement.
Accès aux sources de données
Console
Dans la console CloudWatch Logs, vous utilisez l'onglet Log Management pour accéder à vos sources de données. CloudWatch Logs consolide automatiquement vos données de journal par source et par type de données, en découvrant en permanence les données nouvellement ingérées. Dans la liste des sources de données, vous pouvez créer des pipelines, définir des index de champs et des facettes.
AWS CLI
Utilisez la commande suivante pour répertorier les sources de données et les types de journaux distincts de votre compte :
aws logs list-aggregate-log-group-summaries --group-by DATA_SOURCE_NAME_AND_TYPE
Relation avec les groupes de journaux
Les sources de données complètent les groupes de journaux au lieu de les remplacer. Vos journaux continuent d'être stockés dans des groupes de journaux comme par le passé, mais ils sont désormais automatiquement balisés avec les informations relatives aux sources de données. Cette double organisation vous permet de :
-
Utilisez des groupes de journaux pour définir des politiques précises de contrôle d'accès et de rétention
-
Utiliser des sources de données pour la découverte et l'analyse des journaux basées sur les services
-
Journaux de requêtes utilisant l'une ou l'autre méthode d'organisation en fonction de vos besoins
Les sources de données facilitent l'utilisation des journaux à grande échelle en fournissant une vue centrée sur le service des données de vos journaux dans l'ensemble de votre AWS infrastructure.
