REL06-BP05 Analisi dei log
Raccogli i file di log e le cronologie dei parametri e analizzali per ottenere informazioni approfondite sulle tendenze e sui carichi di lavoro.
Gli Approfondimenti di Amazon CloudWatch Logs supportano un linguaggio di query semplice ma potente che puoi utilizzare per analizzare i dati di log. Amazon CloudWatch Logs supporta anche le sottoscrizioni che consentono il flusso di dati in modo ottimale verso Amazon S3, dove è possibile utilizzare Amazon Athena per eseguire query sui dati. Supporta, inoltre, le query su un'ampia gamma di formati. Consulta Supported SerDes and Data Formats nella Guida per l'utente di Amazon Athena. Per l'analisi di enormi set di file di log, è possibile eseguire un cluster Amazon EMR per eseguire analisi con capacità nell'ordine dei petabyte.
Esistono numerosi strumenti forniti da partner AWS e terze parti che consentono aggregazione, elaborazione, archiviazione e analisi. Questi strumenti includono New Relic, Splunk, Loggly, Logstash, CloudHealth e Nagios. Tuttavia, la generazione esterna di log di sistema e applicazioni è univoca per ciascun provider di servizi cloud e spesso per ciascun servizio.
Una parte spesso trascurata del processo di monitoraggio è la gestione dei dati. È necessario determinare i requisiti di conservazione per il monitoraggio dei dati, quindi applicare le policy del ciclo di vita di conseguenza. Amazon S3 supporta la gestione del ciclo di vita a livello di bucket S3. Questa gestione del ciclo di vita può essere applicata in modo diverso ai diversi percorsi nel bucket. Verso la fine del ciclo di vita, è possibile trasferire i dati ad Amazon Glacier per lo storage a lungo termine e in seguito la scadenza al termine del periodo di conservazione. La classe di storage S3 Intelligent-Tiering è progettata per ottimizzare i costi trasferendo automaticamente i dati nel livello di accesso più conveniente, senza impatto sulle prestazioni o sovraccarico operativo.
Livello di rischio associato se questa best practice non fosse adottata: medio
Guida all'implementazione
-
Gli Approfondimenti di CloudWatch Logs consentono di eseguire ricerche interattive e analizzare i dati di log in Amazon CloudWatch Logs.
-
Utilizza Amazon CloudWatch Logs per inviare log ad Amazon S3, dove è possibile utilizzare Amazon Athena per eseguire query sui dati
-
Come posso analizzare i log di accesso al server Amazon S3 tramite Athena?
-
Crea una policy del ciclo di vita di S3 per il bucket dei log di accesso al server. Configura la policy del ciclo di vita per rimuovere periodicamente i file di log. In questo modo, si riduce la quantità di dati analizzati da Athena per ogni query.
-
-
Risorse
Documenti correlati:
