Analysieren von Protokolldaten mit CloudWatch Logs Insights

Eine speziell entwickelte Logs Insights-Abfragesprache (Logs Insights QL) mit einigen einfachen, aber leistungsstarken Befehlen.

OpenSearch Service Piped Processing Language (PPL). OpenSearch PPL ermöglicht es Ihnen, Ihre Logs mithilfe einer Reihe von Befehlen zu analysieren, die durch Pipes (|) getrennt sind.

Mit OpenSearch PPL können Sie Daten abrufen, abfragen und analysieren, indem Sie Befehle verwenden, die in der Pipeline zusammengefasst sind, was das Verständnis und die Erstellung komplexer Abfragen erleichtert. Die Syntax ermöglicht die Verkettung von Befehlen zur Transformation und Verarbeitung von Daten. Mit PPL können Sie Daten filtern und aggregieren und eine Vielzahl von mathematischen, Zeichenketten-, Datums-, Bedingungs- und anderen Funktionen für die Analyse verwenden.

OpenSearch Service Structured Query Language (SQL). Mit OpenSearch SQL-Abfragen können Sie Ihre Logs deklarativ analysieren. Sie können Befehle wie SELECT, FROM, WHERE, GROUP BY, HAVING und verschiedene andere Befehle und Funktionen verwenden, die in SQL verfügbar sind. Sie können JOINs loggruppenübergreifend ausführen, Daten mithilfe von Unterabfragen protokollübergreifend korrelieren und die umfangreiche Palette von JSON-, mathematischen, String-, Conditional- und anderen SQL-Funktionen verwenden, um leistungsstarke Analysen von Protokollen durchzuführen.

Wenn Sie entweder SQL- oder PPL-Befehle verwenden, achten Sie darauf, Felder mit Sonderzeichen (nicht alphabetisch und nicht numerisch) in Backticks einzuschließen, um sie erfolgreich abzufragen. Schließen Sie beispielsweise, und in Backticks ein. @message Operation.Export Test::Field Sie müssen Felder mit rein alphabetischen Namen nicht in Backticks einschließen.

Automatische Erkennung von Protokollfeldern in Protokollen von AWS Diensten wie Amazon Route 53, AWS Lambda AWS CloudTrail, und Amazon VPC sowie in allen Anwendungen oder benutzerdefinierten Protokollen, die Protokollereignisse als JSON ausgeben.

Erstellung von Feldindizes, um Kosten zu senken und Ergebnisse zu beschleunigen, insbesondere bei Abfragen einer großen Anzahl von Protokollgruppen oder Protokollereignissen. Nachdem Sie Feldindizes für Felder erstellt haben, die in Ihren Protokollereignissen häufig vorkommen, können Sie sie in einer Abfrage verwenden. Die Abfrage überspringt die Verarbeitung von Protokollereignissen, von denen bekannt ist, dass sie das indizierte Feld nicht enthalten, und verarbeitet weniger Daten.

Erkennung und Analyse von Mustern in Ihren Protokollereignissen. Ein Muster ist eine gemeinsame Textstruktur, die sich in Ihren Protokollfeldern wiederholt. Wenn Sie sich die Ergebnisse einer Abfrage ansehen, können Sie die Registerkarte Muster wählen, um sich die Muster anzusehen, die CloudWatch Logs anhand einer Stichprobe Ihrer Ergebnisse gefunden hat.

Abfragen speichern, Ihren Abfrageverlauf einsehen und gespeicherte Abfragen erneut ausführen. Dies kann Ihnen helfen, bei Bedarf komplexe Abfragen auszuführen, ohne sie jedes Mal neu erstellen zu müssen, wenn Sie diese ausführen möchten.

Hinzufügen von Abfragen zu Dashboards.

Verschlüsseln von Abfrageergebnissen mit. AWS Key Management Service

Generierung von Abfragen in natürlicher Sprache.

Abfragen von Protokollen in der Protokollklasse für seltenen Zugriff.

Vergleichsabfragen, bei denen Protokollereignisse in einer Protokollgruppe mit Protokollereignissen aus einem früheren Zeitraum verglichen werden.

Der filterIndexBefehl, der die Abfrage dazu zwingt, nur Protokollereignisse zu scannen, die einen von Ihnen angegebenen Feldindex enthalten.