REL06-BP05 Analyser les journaux
Collectez les fichiers journaux et les historiques de métriques, puis analysez-les pour obtenir des informations plus générales sur les tendances et la charge de travail.
Amazon CloudWatch Logs Insights prend en charge un langage de requête simple et puissant que vous pouvez utiliser pour analyser les données des journaux. Amazon CloudWatch Logs prend également en charge les abonnements qui permettent aux données de circuler en toute transparence vers Amazon S3 où vous pouvez utiliser Amazon Athena pour interroger les données. Il prend également en charge les requêtes dans une grande variétés de formats. Pour plus d’informations, consultez Formats de données et SerDes pris en charge dans le Guide de l’utilisateur Amazon Athena. Pour analyser des ensembles de fichiers journaux volumineux, vous pouvez exécuter un cluster Amazon EMR pour exécuter des analyses à l’échelle du pétaoctet.
Il existe divers outils fournis par les partenaires AWS et les tiers qui permettent l’agrégation, le traitement, le stockage et l’analyse. Parmi ces outils figurent New Relic, Splunk, Loggly, Logstash, CloudHealth et Nagios. Cependant, la génération en dehors du système et des journaux d’applications est propre à chaque fournisseur de cloud, et généralement, spécifique à chaque service.
Un partie souvent négligée de la surveillance des processus concerne la gestion des données. Vous devez déterminer les exigences de rétention des données de surveillance, puis appliquer des stratégies de cycle de vie en conséquence. Amazon S3 prend en charge la gestion du cycle de vie au niveau du compartiment S3. Cette gestion du cycle de vie peut être appliquée différemment à d’autres chemins dans le compartiment. Vers la fin du cycle de vie, vous pouvez transférer des données dans Amazon Glacier pour un stockage à long terme, puis les laisser expirer à la fin de la période de conservation. La classe de stockage S3 Intelligent-Tiering est conçue pour optimiser les coûts en transférant automatiquement les données vers le niveau d’accès le plus économique, sans impact sur les performances ni surcharge opérationnelle.
Niveau d’exposition au risque si cette bonne pratique n’est pas respectée : moyen
Directives d’implémentation
-
CloudWatch Logs Insights vous permet de rechercher et d’analyser de façon interactive les données de vos journaux dans Amazon CloudWatch Logs.
-
Utilisez Amazon CloudWatch Logs pour envoyer des journaux vers Amazon S3 où vous pouvez les utiliser ou utiliser Amazon Athena pour interroger les données.
-
Comment analyser les journaux d’accès au serveur Amazon S3 à l’aide d’Athena ?
-
Créez une stratégie de cycle de vie S3 pour votre compartiment de journaux d’accès au serveur. Configurez la stratégie de cycle de vie pour supprimer périodiquement les fichiers journaux. Cela permet de réduire la quantité de données analysées par Athena pour chaque requête.
-
-
Ressources
Documents connexes :