CloudWatch Logs Insights を使用したログデータの分析

いくつかのシンプルで強力なコマンドを備えた目的別の Logs Insights クエリ言語 (Logs Insights QL)。

OpenSearch Service パイプ処理言語 (PPL)。OpenSearch PPL を使用すると、パイプ (|) で区切られた一連のコマンドを使用してログを分析できます。

OpenSearch PPL を使用すると、パイプ処理されたコマンドを使用してデータを取得、クエリ、分析できるため、複雑なクエリの理解と構成が容易になります。構文を使用すると、コマンドを連鎖してデータの変換と処理を行えます。PPL を使用すると、データをフィルターして集計し、豊富な一連の算術、文字列、日付、条件付きなどの関数を用いて分析できます。

OpenSearch Service 構造化クエリ言語 (SQL)。OpenSearch SQL クエリを使用すると、宣言的な方法でログを分析できます。SELECT、FROM、WHERE、GROUP BY、HAVING などのコマンドや、SQL で使用できるその他のさまざまなコマンドや関数を使用できます。ロググループ間で JOINs を実行し、サブクエリを使用してログ間でデータを関連付け、一連の豊富な JSON、算術、文字列、条件付きなどの SQL 関数を使用してログに対する強力な分析を実行できます。

SQL コマンドまたは PPL コマンドを使用する場合は、フィールドをバッククォートの特殊文字 (非アルファベットおよび非数値) で囲んでクエリを正常に実行してください。例えば、@message、Operation.Export、Test::Field をバッククォートで囲みます。フィールド名がアルファベットのみの場合はバッククオートで囲む必要はありません。

Amazon Route 53、AWS Lambda、AWS CloudTrail、Amazon VPC などの AWS のサービスからのログのログフィールドおよび、ログイベントを JSON として出力するアプリケーションログやカスタムログの自動検出 。

フィールドインデックスを作成してコストを削減し、特に多数のロググループまたはログイベントのクエリで結果を高速化。ログイベントで一般的なフィールドのフィールドインデックスを作成したら、クエリでこれらを使用できます。このクエリは、インデックス付きフィールドが含まれていないことがわかっているログイベントの処理をスキップし、データ処理量を抑制します。

ログイベントのパターンの検出と分析。パターンは、ログフィールド間で繰り返される共有テキスト構造です。クエリの結果を表示するときは、[パターン]タブを選択して、結果のサンプルに基づいて CloudWatch Logs が検出したパターンを表示できます。

クエリの保存、クエリ履歴の表示、保存されたクエリの再実行。そのため、必要なときに複雑なクエリを実行でき、実行するたびにクエリを再作成する必要はありません。

ダッシュボードへのクエリの追加。

AWS Key Management Serviceを使用したクエリ結果の暗号化。

自然言語を使用したクエリ生成により、自然言語を使用して CloudWatch Logs Insights クエリを作成できます。探しているデータについて質問あるいは説明すると、AI はそのプロンプトに基づいてクエリを生成し、そのクエリの仕組みを詳しく説明します。

低頻度アクセスログクラスのログのクエリ。

ロググループのログイベントと以前の期間のログイベントを比較する比較クエリ。

filterIndex コマンド。指定したフィールドインデックスを含むログイベントのみをクエリがスキャンするように強制します。