OpenSearch Strukturierte Abfragesprache (SQL) - CloudWatch Amazon-Protokolle
Unterstützte SQL-BefehleUnterstütztes SQL für multi-log-group AbfragenUnterstütztes SQL für DatenquellenabfragenUmfang der AbfrageEinschränkungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

OpenSearch Strukturierte Abfragesprache (SQL)

Dieser Abschnitt enthält eine grundlegende Einführung in das Abfragen von CloudWatch Logs mit OpenSearch SQL. Es bietet eine vertraute Option, wenn Sie es gewohnt sind, mit relationalen Datenbanken zu arbeiten. OpenSearch SQL bietet einen Teil der SQL-Funktionalität und ist daher eine gute Wahl für Ad-hoc-Abfragen und Datenanalyseaufgaben. Mit OpenSearch SQL können Sie Befehle wie SELECT, FROM, WHERE, GROUP BY, HAVING und verschiedene andere SQL-Befehle und -Funktionen verwenden. Sie können JOINs loggruppenübergreifend ausführen, Daten mithilfe von Unterabfragen zwischen Protokollgruppen korrelieren und die umfangreiche Palette von JSON-, mathematischen, Zeichenketten-, bedingten und anderen SQL-Funktionen verwenden, um leistungsstarke Analysen von Protokoll- und Sicherheitsdaten durchzuführen.

Wird verwendet, filterIndex um nur indizierte Daten zurückzugeben, indem eine Abfrage erzwungen wird, nur Protokollgruppen zu scannen, die für ein Feld indiziert sind, das Sie in der Abfrage angeben. Reduzieren Sie das gescannte Volumen, indem Sie Protokollgruppen überspringen, die keine Protokollereignisse enthalten, die das in der Abfrage angegebene Feld enthalten, und nur Protokollgruppen scannen, die dem in der Abfrage angegebenen Wert für diesen Feldindex entsprechen. Geben Sie filterIndex hier den Feldnamen zusammen mit dem Feldnamen und dem Feldwert an, um nur indizierte Daten abzufragen, die das angegebene Feld und den angegebenen Wert enthalten.

Sie können OpenSearch SQL für Abfragen von Protokollgruppen in der Standard-Protokollklasse verwenden. SQL unterstützt auch Abfragen mithilfe des Datenquellennamens und des Datenquellentyps.

Anmerkung

In der folgenden Tabelle sind die in CloudWatch Logs unterstützten SQL-Befehle und -Funktionen aufgeführt. Informationen zu allen OpenSearch SQL-Befehlen einschließlich der Syntax finden Sie unter Unterstützte SQL-Befehle im OpenSearch Service Developer Guide.

Informationen zu anderen Abfragesprachen, die Sie verwenden können, finden Sie unter CloudWatch Logs Insights, OpenSearch Service PPL und CloudWatch Metrics Insights.

Unterstützte SQL-Befehle

Anmerkung

Ersetzen Sie in der Beispielabfragespalte nach <logGroup> Bedarf, je nachdem, welche Datenquelle Sie abfragen.

Befehl oder Funktion Beispielabfrage Description

SELECT

SELECT `@message`, Operation FROM `LogGroupA`

Zeigt projizierte Werte an.

FROM

SELECT `@message`, Operation FROM `LogGroupA`

Integrierte Klausel, die die Quelltabelle (n) oder Ansicht (en) angibt, aus denen Daten abgerufen werden sollen, und unterstützt verschiedene Arten von Verknüpfungen und Unterabfragen.

WHERE

SELECT * FROM `LogGroupA` WHERE Operation = 'x'

Filtert Protokollereignisse auf der Grundlage der angegebenen Feldkriterien.

filterIndex

SELECT * FROM `filterIndex('region' = 'us-east-1')` WHERE status = 200 LIMIT 10;

Gibt nur indizierte Daten zurück, indem eine Abfrage gezwungen wird, nur Protokollgruppen zu scannen, die für ein Feld indiziert sind, das Sie in der Abfrage angeben.

GROUP BY

SELECT `@logStream`, COUNT(*) as log_count FROM `LogGroupA` GROUP BY `@logStream`

Gruppiert Ereignisse nach Kategorien und ermittelt anhand von Statistiken den Durchschnitt.

HAVING

SELECT `@logStream`, COUNT(*) as log_count FROM `LogGroupA` GROUP BY `@logStream` HAVING log_count > 100

Filtert die Ergebnisse auf der Grundlage der Gruppierungsbedingungen.

ORDER BY

SELECT * FROM `LogGroupA` ORDER BY `@timestamp` DESC

Sortiert die Ergebnisse auf der Grundlage der Felder in der ORDER BY-Klausel. Sie können entweder in absteigender oder aufsteigender Reihenfolge sortieren.

JOIN

SELECT A.`@message`, B.`@timestamp`FROM `LogGroupA` as A INNER JOIN `LogGroupB` as B ON A.`requestId` = B.`requestId`

Verbindet die Ergebnisse für zwei Tabellen auf der Grundlage gemeinsamer Felder. Inner JOIN oder Left Outer Join müssen angegeben werden

LIMIT

Select * from `LogGroupA` limit 10

Beschränkt die angezeigten Abfrageergebnisse auf die ersten N Zeilen.

Zeichenfolgenfunktionen

SELECT upper(Operation) , lower(Operation), Operation FROM `LogGroupA`

Integrierte Funktionen in SQL, mit denen Zeichenketten- und Textdaten in SQL-Abfragen bearbeitet und transformiert werden können. Zum Beispiel das Konvertieren von Groß- und Kleinschreibung, das Kombinieren von Zeichenketten, das Extrahieren von Teilen und das Bereinigen von Text.

Datumsfunktionen

SELECT current_date() as today, date_add(current_date(), 30) as thirty_days_later, last_day(current_date()) as month_end FROM `LogGroupA`

Integrierte Funktionen für die Verarbeitung und Transformation von Datums- und Zeitstempeldaten in SQL-Abfragen. Zum Beispiel date_add, date_format, datediff und current_date.

Konditionale Funktionen

SELECT Operation, IF(Error > 0, 'High', 'Low') as error_category FROM `LogGroupA`;

Integrierte Funktionen, die Aktionen auf der Grundlage bestimmter Bedingungen ausführen oder Ausdrücke bedingt auswerten. Zum Beispiel CASE und IF.

Aggregationsfunktionen

SELECT AVG(bytes) as bytesWritten FROM `LogGroupA`

Integrierte Funktionen, die Berechnungen für mehrere Zeilen durchführen, um einen einzelnen zusammengefassten Wert zu erzeugen. Zum Beispiel SUM, COUNT, AVG, MAX und MIN.

JSON-Funktionen

SELECT get_json_object(json_column, '$.name') as name FROM `LogGroupA`

Integrierte Funktionen zum Parsen, Extrahieren, Ändern und Abfragen von Daten im JSON-Format innerhalb von SQL-Abfragen (z. B. from_json, to_json, get_json_object, json_tuple), die die Manipulation von JSON-Strukturen in Datensätzen ermöglichen.

Array-Funktionen

SELECT scores, size(scores) as length, array_contains(scores, 90) as has_90 FROM `LogGroupA`;

Integrierte Funktionen für die Arbeit mit Spalten vom Typ Array in SQL-Abfragen, die Operationen wie den Zugriff auf, die Änderung und die Analyse von Array-Daten (z. B. size, explode, array_contains) ermöglichen.

Fensterfunktionen

SELECT field1, field2, RANK() OVER (ORDER BY field2 DESC) as field2Rank FROM `LogGroupA`;

Integrierte Funktionen, die Berechnungen für eine bestimmte Gruppe von Zeilen durchführen, die sich auf die aktuelle Zeile (Fenster) beziehen, wodurch Operationen wie Rangfolge, laufende Summen und gleitende Durchschnitte ermöglicht werden. Zum Beispiel ROW_NUMBER, RANK, LAG und LEAD

Konvertierungs-Funktionen

SELECT CAST('123' AS INT) as converted_number, CAST(123 AS STRING) as converted_string FROM `LogGroupA`

Integrierte Funktionen zum Konvertieren von Daten von einem Typ in einen anderen innerhalb von SQL-Abfragen, wodurch Datentyptransformationen und Formatkonvertierungen ermöglicht werden. Zum Beispiel CAST, TO_DATE, TO_TIMESTAMP und BINARY.

Prädikatsfunktionen

SELECT scores, size(scores) as length, array_contains(scores, 90) as has_90 FROM `LogGroupA`;

Integrierte Funktionen, die Bedingungen auswerten und boolesche Werte (true/false) auf der Grundlage bestimmter Kriterien oder Muster zurückgeben. Zum Beispiel IN, LIKE, BETWEEN, IS NULL und EXISTS.

Wählen Sie mehrere Protokollgruppen aus

SELECT lg1.field1, lg1.field2 from `logGroups( logGroupIdentifier: ['LogGroup1', 'LogGroup2'])` as lg1 where lg1.field3= "Success"

Ermöglicht es Ihnen, mehrere Protokollgruppen in einer SELECT-Anweisung anzugeben

Wählen Sie mehrere Datenquellen aus

SELECT ds1.field1, ds1.field2 from `dataSource(['DataSource1', 'DataSource2'])` as ds1 where ds1.field3= "Success"

Ermöglicht die Angabe mehrerer Datenquellen in einer SELECT-Anweisung

Unterstütztes SQL für multi-log-group Abfragen

Um den Anwendungsfall für die Abfrage mehrerer Protokollgruppen in SQL zu unterstützen, können Sie den logGroups Befehl verwenden. Mit dieser Syntax können Sie mehrere Protokollgruppen abfragen, indem Sie sie im Befehl FROM angeben.

Syntax:

`logGroups(
    logGroupIdentifier: ['LogGroup1','LogGroup2', ...'LogGroupn']
)

In dieser Syntax können Sie bis zu 50 Protokollgruppen im logGroupIdentifier Parameter angeben. Wenn Sie in einem Monitoring-Konto auf Protokollgruppen verweisen möchten, verwenden Sie ARNs anstelle von LogGroup Namen.

Beispielabfrage:

SELECT LG1.Column1, LG1.Column2 from `logGroups(
    logGroupIdentifier: ['LogGroup1', 'LogGroup2']
)` as LG1 WHERE LG1.Column1 = 'ABC'

Die folgende Syntax mit mehreren Protokollgruppen nach der FROM Anweisung wird bei der Abfrage von CloudWatch Logs NICHT unterstützt.

SELECT Column1, Column2 FROM 'LogGroup1', 'LogGroup2', ...'LogGroupn'
WHERE Column1 = 'ABC'

Unterstütztes SQL für Datenquellenabfragen

Um den Anwendungsfall für die Abfrage von Datenquellen in SQL zu unterstützen, können Sie den DataSource-Befehl verwenden. Mit dieser Syntax können Sie Datenquellen abfragen, indem Sie sie im Befehl angeben. FROM Sie können bis zu 10 Datenquellen angeben.

Syntax

`dataSource(
    ['DataSource1', 'DataSource2', ...'DataSourcen']
)`

Beispielabfrage

SELECT DS1.Column1, DS1.Column2 from `dataSource(
    ['DataSource1', 'DataSource2']
)` as DS1 WHERE DS1.Column1 = 'ABC'

Umfang der Abfrage

In der AWS CLI AND-API können Sie mithilfe der Protokollgruppe, der Datenquelle und des Typs sowie der Feldindizes angeben, welche Protokolle abgefragt werden sollen.

Protokollgruppe

Die Quellenauswahl für die Protokollgruppe kann verwendet werden, wenn Kunden wissen, welche Protokollgruppe (n) genau durchsucht werden müssen

SELECT * FROM `logGroups(logGroupIdentifier: ['/aws/lambda/my-function'])`;

Datenquelle und Typ

Kunden können ihre Protokolle anhand des Datenquellennamens und des Datenquellentyps abfragen.

Die auf Datenquellen und Typen basierende Quellenauswahl kann verwendet werden, wenn Kunden wissen, welche Datenquellen genau abgefragt werden müssen. Diese Abfrage wird über eine oder mehrere Protokollgruppen ausgeführt, die die angegebene Datenquelle und den angegebenen Datentyp enthalten.

Um den Anwendungsfall für die Abfrage von Datenquellen in SQL zu unterstützen, können Sie den DataSource-Befehl verwenden. Mit dieser Syntax können Sie Datenquellen abfragen, indem Sie sie im FROM-Befehl angeben. Sie können bis zu 10 Datenquellen angeben.

Syntax:

`dataSource(
    ['DataSource1.Type1', 'DataSource2.Type2', ...'DataSourcen.Typen']
)`

Beispielabfrage:

SELECT DS1.Column1, DS1.Column2 from `dataSource(
    ['DataSource1.Type1', 'DataSource2.Type2']
)` as DS1 WHERE DS1.Column1 = 'ABC'

Weitere Informationen zur Abfrage nach Datenquellen finden Sie unterVerwenden Sie Facetten, um Logs zu gruppieren und zu untersuchen.

Kombiniertes Beispiel

Kunden können alle Operatoren zur Quellenauswahl innerhalb der Backticks in beliebiger Reihenfolge angeben. Die Ergebnisse würden dann auf dem Schnittpunkt aller angewandten Bedingungen basieren.

Beispielsweise könnte/aws/lambda/my-function-1 mehrere Datenquellen und -typen enthalten, einschließlich einer Vielzahl von Indizes. Wenn die folgende Abfrage ausgeführt wurde, enthielten die zurückgegebenen Ergebnisse nur Ereignisse der Quelle und des Typs DataSource 1.Type1, die den Kriterien 'status' = 200 entsprechen.

SELECT * FROM `
   logGroups(logGroupIdentifier: ['/aws/lambda/my-function'])
   filterIndex('status' = 200)
   dataSource(['DataSource1.Type1'])
`;

Feldindizes

Die auf dem Feldindex basierende Quellenauswahl identifiziert automatisch relevante Protokollgruppen, wenn Ihre Filter auf indizierte Felder abzielen, wodurch das Scanvolumen und die Abfragelaufzeit reduziert werden.

Wird verwendet, filterIndex um nur indizierte Daten zurückzugeben, indem eine Abfrage erzwungen wird, nur Protokollgruppen zu scannen, die in einem Feld indexiert sind, das Sie in der Abfrage angeben. Für diese Protokollgruppen, die in diesem Feld indexiert sind, wird die Abfrage weiter optimiert, indem die Protokollgruppen übersprungen werden, die keine Protokollereignisse enthalten, die das in der Abfrage für das indizierte Feld angegebene Feld enthalten. Das gescannte Volumen wird weiter reduziert, indem versucht wird, nur Protokollereignisse aus diesen Protokollgruppen zu scannen, die dem in der Abfrage für diesen Feldindex angegebenen Wert entsprechen. Weitere Informationen zu Feldindizes und deren Erstellung finden Sie unter Feldindizes erstellen, um die Abfrageleistung zu verbessern und das Scanvolumen zu reduzieren.

In SQL wird FilterIndex verwendet, um anzugeben, welche Schlüssel-Wert-Paare als Indizes behandelt werden sollen. Die Syntax lautet wie folgt

SELECT * FROM `filterIndex('region' = 'us-east-1')`;

wobei

  1. FilterIndex (...) gibt an, dass die darin enthaltenen Schlüsselwerte als Feldindizes behandelt werden. Jedes Schlüsselwertpaar ist durch ein Komma getrennt (Beispiel unten)

  2. 'region' = 'us-east-1' gibt die tatsächliche Bedingung an, die angewendet werden soll

    1. Hinweis: Anstelle von = können Kunden IN verwenden, um mehrere Werte anzugeben (Beispiel unten)

Die Verwendung mehrerer FilterIndex-Werte würde die Bedingungen mit „UND“ kombinieren. In diesem Beispiel würden Logs abgefragt, die mit status=200 und der Region in us-east-1 oder us-west-2 übereinstimmen.

SELECT * FROM `filterIndex('status' = 200, 'region' IN ['us-east-1', 'us-west-2'])`;

Einschränkungen

Die folgenden Einschränkungen gelten, wenn Sie SQL für Abfragen in Logs Insights verwenden. OpenSearch CloudWatch

  • Sie können nur einen JOIN in eine SELECT-Anweisung aufnehmen.

  • Sie können JOIN oder Unterabfragen nicht mit Datenquellenabfragen verwenden.

  • Es wird nur eine Ebene verschachtelter Unterabfragen unterstützt.

  • Abfragen mit mehreren Anweisungen, die durch Semikolons (;) getrennt sind, werden nicht unterstützt.

  • Abfragen mit Feldnamen, die identisch sind, sich aber nur in der Groß- und Kleinschreibung unterscheiden (wie Feld1 und FIELD1), werden nicht unterstützt.

    Die folgende Abfrage wird beispielsweise nicht unterstützt:

    Select AWSAccountId, AwsAccountId from LogGroup

    Die folgende Abfrage wird jedoch unterstützt, da der Feldname (@logStream) in beiden Protokollgruppen identisch ist:

    Select a.`@logStream`, b.`@logStream` from Table A INNER Join Table B on a.id = b.id

  • Funktionen und Ausdrücke müssen mit Feldnamen arbeiten und Teil einer SELECT-Anweisung mit einer in der FROM-Klausel angegebenen Protokollgruppe sein.

    Diese Abfrage wird beispielsweise nicht unterstützt:

    SELECT cos(10) FROM LogGroup

    Diese Abfrage wird unterstützt:

    SELECT cos(field1) FROM LogGroup

  • Wenn Sie SQL- oder PPL-Befehle verwenden, schließen Sie bestimmte Felder in Backticks ein, um sie erfolgreich abzufragen. Backticks sind für Felder mit Sonderzeichen (nicht alphabetisch und nicht numerisch) erforderlich. Schließen Sie beispielsweise, und in Backticks @message einOperation.Export. Test::Field Sie müssen Felder mit rein alphabetischen Namen nicht in Backticks einschließen.

    Beispielabfrage mit einfachen Feldern:

    SELECT SessionToken, Operation, StartTime  FROM `LogGroup-A`
LIMIT 1000;

    Ähnliche Abfrage mit angehängten Backticks:

    SELECT `@SessionToken`, `@Operation`, `@StartTime`  FROM `LogGroup-A` LIMIT 1000;