データソースの検出と管理 - Amazon CloudWatch Logs
CloudWatch Logs データソースとは開始方法システムフィールドデータソースへのアクセスロググループとの関係

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

データソースの検出と管理

CloudWatch Logs は、ログデータを自動的に検出してデータソースとタイプ別に分類するため、大規模なログの理解と管理が容易になります。この機能は、Amazon VPC フローログ、CloudTrail、Route AWS 53 などのベンダーソースとサードパーティーのセキュリティツールのスキーマ検出を提供します。

ログ管理コンソールには、ロググループだけでなく、データソースとタイプ別に整理されたログの概要が表示されます。この組織は、以下に役立ちます。

  • AWS サービス、サードパーティーソース (Okta や CrowdStrike など）、カスタムソース別に分類されたログを表示する

  • ログデータのスキーマと構造を自動的に理解する

  • 検出されたスキーマフィールドに基づいてフィールドインデックスポリシーを作成する

  • 異なるデータソース間でログをより効率的に管理する

  • さまざまなデータソースによるログのクエリ

サポートされている AWS サービスの CloudWatch Logs ログ記録を有効にすると、CloudWatch Logs はログに適切なスキーマを自動的に適用します。この自動スキーマアプリケーションは、整合性を維持し、ログ構造を即座に把握するのに役立ちます。

CloudWatch Logs データソースとは

CloudWatch Logs データソースは、ログを生成するソースに基づいてログデータを整理および分類する新しい方法を提供する機能です。CloudWatch Logs は従来、ロググループを使用してログを整理していましたが、データソースは、元のサービスとログタイプ別にログをグループ化する追加の組織レイヤーを提供します。

データソースの仕組み

データソースは、サービスベースのログ整理と、 AWS インフラストラクチャ全体の簡素化された検出を提供します。特定のサービスからログを簡単に検索し、個々のロググループ名や構造を知ることなく、ログタイプでフィルタリングできます。

サードパーティーソースの場合、およびオプションでアプリケーションログソースの場合、データソースは CloudWatch パイプラインと連携してログを分類します。ログを取り込んで変換するようにパイプラインを設定するときは、データソース名とタイプを指定します。その後、CloudWatch Logs はパイプラインが処理するすべてのログを自動的に分類します。詳細については、「Amazon CloudWatch ユーザーガイド」の「CloudWatch パイプライン」を参照してください。 Amazon CloudWatch

データソースは、2 つのキー識別子を使用してログを分類します。

  • データソース名: ログを生成する AWS サービス、サードパーティーのソース、またはアプリケーション (Route 53、Amazon VPC、CloudTrail、Okta SSO、CrowdStrike Falcon など）。

  • データソースタイプ: そのサービスによって生成された特定のタイプのログ。

スキーマは、存在するフィールドや情報の整理方法など、ログデータの構造を定義します。1 つのデータソースで、スキーマと目的が異なる複数のタイプのログを生成できます。たとえば、 AWS CloudTrail データソースには、管理イベント (リソースの作成や削除などのコントロールプレーンオペレーションを追跡する) とデータイベント (S3 オブジェクトアクセスなどのデータプレーンオペレーションを追跡する) の 2 つのタイプがあります。各タイプには、さまざまな種類の情報がキャプチャされるため、異なるスキーマがあります。

開始方法

CloudWatch Logs は、ログをオリジンに基づいてデータソースに分類します。メソッドは、使用しているログのタイプによって異なります。

AWS のサービス ログ

サポートされている AWS のサービス からのログは、設定を必要とせずにデータソースごとに自動的にグループ化されます。CloudWatch Logs はこれらのログを認識し、元のサービスに基づいて適切なデータソース名とタイプを適用します。

サードパーティーのログ

サードパーティーのログには、データソースの分類にパイプラインが必要です。Microsoft Office 365、Okta、CrowdStrike、Palo Alto Networks などのサポートされているサードパーティーソースからログを取り込むようにパイプラインを設定する場合は、パイプライン設定でデータソース名とタイプを指定します。CloudWatch Logs は、パイプラインがそれらの識別子を使用して処理するすべてのログを自動的に分類します。

Pipelines は、必要に応じてサードパーティーのログを Open Cybersecurity Schema Framework (OCSF) 形式に変換して、標準化されたセキュリティイベント分析を行うことができます。OCSF 変換を有効にすると、データソース名とタイプは OCSF スキーママッピングに基づいて自動的に決定されます。OCSF 変換を使用しない場合は、パイプライン設定でデータソース名とタイプを指定します。

アプリケーションログ

カスタムアプリケーションログの場合、次のいずれかの方法を使用してデータソース別に分類できます。

  • ロググループタグ - キーcw:datasource:nameと を使用してロググループにタグを追加cw:datasource:typeし、ロググループに取り込まれたすべてのログのデータソース名とタイプをそれぞれ指定します。タグ値は最大 64 文字で、小文字、数字、アンダースコアのみを含めることができます。文字または数字で始める必要があり、二重アンダースコア (__) を含めることはできません。

  • パイプライン設定 - アプリケーションログを取り込むときに、ログ処理パイプラインを介してデータソース情報を設定します。

注記

AWS サービスログとの競合を避けるため、データソース名は「aws」または「amazon」で始めることはできません。

システムフィールド

CloudWatch Logs は、データソース別に分類されたログに 3 つのシステムフィールドを自動的に追加します。これらのフィールドはデフォルトのファセットとして機能します。

  • @data_source_name - データソースの名前、または未確定の場合は「不明」が含まれます。

  • @data_source_type - データソースのタイプ、または未確定の場合は「不明」が含まれます。

  • @data_format - ログデータの形式を示します。

データソース名またはタイプを特定できない場合、これらのフィールドは「不明」に設定されます。「不明な」値を持つデータソースは、引き続き コンソールの「ログ管理」の下にあるファセットとデータソーステーブルに表示され、分類されていないログとそのロググループの送信元を特定できます。

@data_format フィールドには次のいずれかの値が含まれます:

  • Default - 変更せずに取り込まれたログ。

  • Custom - パイプラインプロセッサを介して処理されたログ、またはデータソース名/タイプタグを持つロググループに取り込まれたログ。

  • OCSF-<version> - パイプラインで OCSF (Open Cybersecurity Schema Framework) プロセッサで処理されたログ。

  • AWS-OTEL-LOG-V<version> - CloudWatch OTLP エンドポイントを介して取り込まれた OpenTelemetry ログ。

  • AWS-OTEL-TRACE-V<version> - CloudWatch OTLP エンドポイントを介して取り込まれた OpenTelemetry トレース。

これらのシステムフィールドを使用すると、ソースと形式に基づいてログをフィルタリングおよびクエリできるため、さまざまなオリジンからのログの操作やパイプラインの処理が容易になります。

データソースへのアクセス

コンソール

CloudWatch Logs コンソールで、ログ管理タブを使用してデータソースにアクセスします。CloudWatch Logs は、データソースとタイプ別にログデータを自動的に統合し、新しく取り込まれたデータを継続的に検出します。データソースリストから、パイプラインの作成、フィールドインデックスとファセットの定義を行うことができます。

AWS CLI

アカウント内の個別のデータソースとログのタイプを一覧表示するには、次のコマンドを使用します。

aws logs list-aggregate-log-group-summaries --group-by DATA_SOURCE_NAME_AND_TYPE

ロググループとの関係

データソースは、ロググループを置き換えるのではなく補完します。ログは以前と同様にロググループに引き続き保存されますが、データソース情報も自動的にタグ付けされます。このデュアル組織を使用すると、次のことが可能になります。

  • きめ細かなアクセスコントロールと保持ポリシーにロググループを使用する

  • サービスベースのログ検出と分析にデータソースを使用する

  • 必要に応じて、いずれかの組織的な方法を使用してログをクエリする

データソースを使用すると、 AWS インフラストラクチャ全体でログデータをサービス中心に表示できるため、大規模なログの操作が容易になります。