設定可能なパーサータイプのプロセッサ - Amazon CloudWatch Logs
parseJSONgrokcsvparseKeyValue

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

設定可能なパーサータイプのプロセッサ

このセクションでは、ログイベントトランスフォーマーで使用できる設定可能なデータパーサープロセッサについて説明します。

parseJSON

parseJSON プロセッサは JSON ログイベントを解析し、抽出された JSON キーと値のペアを送信先に挿入します。送信先を指定しない場合、プロセッサはキーと値のペアをルートノードに配置します。parseJSON を最初のプロセッサとして使用する場合は、@message をソースフィールドとして使用してログイベント全体を解析する必要があります。最初の JSON 解析後、後続のプロセッサで特定のフィールドを操作できます。

元の @message コンテンツは変更されず、新しいキーがメッセージに追加されます。

フィールド 説明 必須? デフォルト 制限

ソース

 解析されるログイベントのフィールドへのパス。ドット表記を使用して子フィールドにアクセスします。例: store.book

いいえ

@message

最大長: 128

ネストされたキーの最大深度: 3

destination

 解析された JSON の送信先フィールド

いいえ

Parent JSON node

最大長: 128

ネストされたキーの最大深度: 3

例

取り込まれたログイベントは次のようになります。

{
    "outer_key": {
        "inner_key": "inner_value"
    }
}

次に、この parseJSON プロセッサがある場合:

[
   {
        "parseJSON": {
            "destination": "new_key"
        }
   }
]

変換されたログイベントは次のとおりです。

{
    "new_key": {
        "outer_key": {
            "inner_key": "inner_value"
        }
    }
}

grok

grok プロセッサを使用すると、パターンマッチングを使用して非構造化データを解析および構造化できます。このプロセッサは、ログメッセージからフィールドを抽出することもできます。

フィールド 説明 必須? デフォルト 制限 メモ

ソース

 Grok マッチングを適用するフィールドのパス

いいえ

@message

最大長: 128

ネストされたキーの最大深度: 3

match

ログイベントと照合する grok パターン

はい

最大長: 512

最大 grok パターン: 20

一部の grok パターンタイプには個別の使用制限があります。次のパターンの任意の組み合わせを最大 5 回使用できます: {URI、URIPARAM、URIPATHPARAM、SPACE、DATA、GREEDYDATA、GREEDYDATA_MULTILINE}

Grok パターンは型変換をサポートしていません。

一般的なログ形式パターン (APACHE_ACCESS_LOG、NGINX_ACCESS_LOG、SYSLOG5424) では、共通のログパターンの後に DATA、GREEDYDATA、または GREEDYDATA_MULTILINE パターンのみを含めることができます。

サポートされているすべての Grok パターンを表示する

Grok パターンの構造

サポートされている grok パターン構造は次のとおりです。

%{PATTERN_NAME:FIELD_NAME}

  • PATTERN_NAME: 特定タイプのデータを一致させるための事前定義された正規表現を指します。事前定義された grok パターンのみがサポートされています。カスタムパターンの作成は許可されません。

  • FIELD_NAME: 抽出された値に名前を割り当てます。FIELD_NAME はオプションですが、この値を指定しない場合、抽出されたデータは変換されたログイベントから削除されます。FIELD_NAME がドット表記 (「parent.child」など) を使用している場合、JSON パスと見なされます。

  • 型変換: 明示的な型変換はサポートされていません。TypeConverter プロセッサを使用して、grok によって抽出された任意の値のデータ型を変換します。

より複雑なマッチング式を作成するには、複数の grok パターンを組み合わせることができます。ログイベントに合わせて最大 20 個の grok パターンを組み合わせることができます。例えば、%{NUMBER:timestamp} [%{NUMBER:db} %{IP:client_ip}:%{NUMBER:client_port}] %{GREEDYDATA:data} のパターンの組み合わせを使用して、次のような Redis スローログエントリからフィールドを抽出できます。

1629860738.123456 [0 127.0.0.1:6379] "SET" "key1" "value1"

Grok の例

例 1: grok を使用して非構造化ログからフィールドを抽出する

サンプルログ:

293750 server-01.internal-network.local OK "[Thread-000] token generated"

使用するトランスフォーマー:

[
     {
         "grok": {
             "match": "%{NUMBER:version} %{HOSTNAME:hostname} %{NOTSPACE:status} %{QUOTEDSTRING:logMsg}"
         }
    }
]

出力:

{
  "version": "293750",
  "hostname": "server-01.internal-network.local",
  "status": "OK",
  "logMsg": "[Thread-000] token generated"
}

サンプルログ:

23/Nov/2024:10:25:15 -0900 172.16.0.1 200

使用するトランスフォーマー:

[
    {
        "grok": {
            "match": "%{HTTPDATE:timestamp} %{IPORHOST:clientip} %{NUMBER:response_status}"
        }
    }
]

出力:

{
  "timestamp": "23/Nov/2024:10:25:15 -0900",
  "clientip": "172.16.0.1",
  "response_status": "200"
}

例 2: grok を parseJSON と組み合わせて使用し、JSON ログイベントからフィールドを抽出する

サンプルログ:

{
    "timestamp": "2024-11-23T16:03:12Z",
    "level": "ERROR",
    "logMsg": "GET /page.html HTTP/1.1"
}

使用するトランスフォーマー:

[
     {
        "parseJSON": {}
    },
    {
         "grok": {
            "source": "logMsg",
             "match": "%{WORD:http_method} %{NOTSPACE:request} HTTP/%{NUMBER:http_version}"
         }
    }
]

出力:

{
  "timestamp": "2024-11-23T16:03:12Z",
  "level": "ERROR",
  "logMsg": "GET /page.html HTTP/1.1",
  "http_method": "GET",
  "request": "/page.html",
  "http_version": "1.1"
}

例 3: FIELD_NAME に点線注釈が付いた Grok パターン

サンプルログ:

192.168.1.1 GET /index.html?param=value 200 1234

使用するトランスフォーマー:

[
    {
        "grok": {
            "match": "%{IP:client.ip} %{WORD:method} %{URIPATHPARAM:request.uri} %{NUMBER:response.status} %{NUMBER:response.bytes}"
        }
    }
]

出力:

{
  "client": {
    "ip": "192.168.1.1"
  },
  "method": "GET",
  "request": {
    "uri": "/index.html?param=value"
  },
  "response": {
    "status": "200",
    "bytes": "1234"
  }
}

サポートされている grok パターン

次の表に、grok プロセッサでサポートされているパターンを示します。

一般的な grok パターン

Grok パターン 説明 最大パターン制限 例
USERNAME または USER 小文字 (a～z)、大文字 (A～Z)、数字 (0～9)、ドット (.)、アンダースコア (_)、またはハイフン (-) を使用できる 1 つ以上の文字との一致 20

入力: user123.name-TEST

パターン: %{USERNAME:name}

出力: {"name": "user123.name-TEST"}
INT オプションのプラス記号またはマイナス記号の後に 1 つ以上の数字が続くものとの一致。 20

入力: -456

パターン: %{INT:num}

出力: {"num": "-456"}
BASE10NUM 整数または浮動小数点数とオプションの符号と小数点との一致 20

入力: -0.67

パターン: %{BASE10NUM:num}

出力: {"num": "-0.67"}
BASE16NUM 10 進数と 16 進数をオプションの記号 (+ または -) とオプションの 0x プレフィックスとの一致 20

入力: +0xA1B2

パターン: %{BASE16NUM:num}

出力: {"num": "+0xA1B2"}
POSINT 1 つ以上の数字 (1～9 の後に 0～9) で構成され、先頭にゼロのない正の整数全体との一致 20

入力: 123

パターン: %{POSINT:num}

出力: {"num": "123"}
NONNEGINT ゼロと先頭にゼロがある数字を含むすべての整数 (1 つ以上の数字 0～9 で構成) との一致。 20

入力: 007

パターン: %{NONNEGINT:num}

出力: {"num": "007"}
WORD 文字、数字、アンダースコアを含む 1 つ以上の単語文字 (\w) で構成される単語全体との一致 20

入力: user_123

パターン: %{WORD:user}

出力: {"user": "user_123"}
NOTSPACE 空白以外の 1 つ以上の文字との一致。 5

入力: hello_world123

パターン: %{NOTSPACE:msg}

出力: {"msg": "hello_world123"}
SPACE 0 個以上の空白類文字との一致。 5

入力: " "

パターン: %{SPACE:extra}

出力: {"extra": " "}
DATA 任意の文字 (改行文字を除く) に 0 回以上一致。最短マッチを実行。 5

入力: abc def ghi

パターン: %{DATA:x} %{DATA:y}

出力: {"x": "abc", "y": "def ghi"}
GREEDYDATA 任意の文字 (改行文字を除く) に 0 回以上一致。最長マッチを実行。 5

入力: abc def ghi

パターン: %{GREEDYDATA:x} %{GREEDYDATA:y}

出力: {"x": "abc def", "y": "ghi"}
GREEDYDATA_MULTILINE 任意の文字 (改行文字を含む) に 0 回以上一致。最長マッチを実行。 1

入力:

abc

def

ghi

パターン: %{GREEDYDATA_MULTILINE:data}

出力: {"data": "abc\ndef\nghi"}
QUOTEDSTRING エスケープ文字付きの、引用符で囲まれた文字列 (一重引用符または二重引用符) との一致。 20

入力: "Hello, world!"

パターン: %{QUOTEDSTRING:msg}

出力: {"msg": "Hello, world!"}
UUID 標準の UUID 形式との一致。16 進数文字 8 文字の後に 16 進数文字 4 文字の 3 グループが続き、16 進数文字 12 文字で終わり、すべてハイフンで区切られます。 20

入力: 550e8400-e29b-41d4-a716-446655440000

パターン: %{UUID:id}

出力: {"id": "550e8400-e29b-41d4-a716-446655440000"}
URN URN (Uniform Resource Name) 構文との一致。 20

入力: urn:isbn:0451450523

パターン: %{URN:urn}

出力: {"urn": "urn:isbn:0451450523"}

AWS Grok パターン

パターン 説明 最大パターン制限 例

ARN

AWS Amazon リソースネーム (ARNs) に一致し、パーティション (aws、aws-cn、または aws-us-gov)、サービス、リージョン、アカウント ID、スラッシュで区切られた最大 5 つの階層リソース識別子をキャプチャします。コロン間で情報が欠落している ARN には一致しません。

 5

入力: arn:aws:iam:us-east-1:123456789012:user/johndoe

パターン: %{ARN:arn}

出力: {"arn": "arn:aws:iam:us-east-1:123456789012:user/johndoe"}

ネットワーク grok パターン

Grok パターン 説明 最大パターン制限 例
CISCOMAC 4-4-4 の 16 進形式の MAC アドレスとの一致。 20

入力: 0123.4567.89AB

パターン: %{CISCOMAC:MacAddress}

出力: {"MacAddress": "0123.4567.89AB"}
WINDOWSMAC ハイフン付きの 16 進形式の MAC アドレスとの一致。 20

入力: 01-23-45-67-89-AB

パターン: %{WINDOWSMAC:MacAddress}

出力: {"MacAddress": "01-23-45-67-89-AB"}
COMMONMAC コロン付きの 16 進形式の MAC アドレスとの一致。 20

入力: 01:23:45:67:89:AB

パターン: %{COMMONMAC:MacAddress}

出力: {"MacAddress": "01:23:45:67:89:AB"}
MAC CISCOMAC、WINDOWSMAC、または COMMONMAC grok パターンのいずれかとの一致 20

入力: 01:23:45:67:89:AB

パターン: %{MAC:m1}

出力: {"m1":"01:23:45:67:89:AB"}
IPV6 圧縮フォームや IPv4 マップ IPv6 アドレスを含む IPv6 アドレスとの一致。 5

入力: 2001:db8:3333:4444:5555:6666:7777:8888

パターン: %{IPV6:ip}

出力: {"ip": "2001:db8:3333:4444:5555:6666:7777:8888"}
IPV4 IPv4 アドレスとの一致。 20

入力: 192.168.0.1

パターン: %{IPV4:ip}

出力: {"ip": "192.168.0.1"}
IP %{IPv6} でサポートされている IPv6 アドレスまたは %{IPv4} でサポートされている IPv4 アドレスのいずれかとの一致。 5

入力: 192.168.0.1

パターン: %{IP:ip}

出力: {"ip": "192.168.0.1"}
HOSTNAME または HOST サブドメインを含むドメイン名との一致 5

入力: server-01.internal-network.local

パターン: %{HOST:host}

出力: {"host": "server-01.internal-network.local"}
IPORHOST ホスト名または IP アドレスのいずれかとの一致 5

入力: 2001:db8:3333:4444:5555:6666:7777:8888

パターン: %{IPORHOST:ip}

出力: {"ip": "2001:db8:3333:4444:5555:6666:7777:8888"}
HOSTPORT %{IPORHOST} パターンでサポートされている IP アドレスまたはホスト名にコロンとポート番号が続くものに一致し、出力でポートを「PORT」としてキャプチャします。 5

入力: 192.168.1.1:8080

パターン: %{HOSTPORT:ip}

出力: {"ip":"192.168.1.1:8080","PORT":"8080"}
URIHOST %{IPORHOST} パターンでサポートされている IP アドレスまたはホスト名との一致。オプションでコロンとポート番号が続き、ポートが存在する場合はポートを「port」としてキャプチャします。 5

入力: example.com:443 10.0.0.1

パターン: %{URIHOST:host} %{URIHOST:ip}

出力: {"host":"example.com:443","port":"443","ip":"10.0.0.1"}

パス grok パターン

Grok パターン 説明 最大パターン制限 例
UNIXPATH クエリパラメータを含む可能性のある URL パスとの一致。 20

入力: /search?q=regex

パターン: %{UNIXPATH:path}

出力: {"path":"/search?q=regex"}
WINPATH Windows ファイルパスとの一致。 5

入力: C:\Users\John\Documents\file.txt

パターン: %{WINPATH:path}

出力: {"path": "C:\\Users\\John\\Documents\\file.txt"}
PATH URL または Windows ファイルパスのいずれかとの一致 5

入力: /search?q=regex

パターン: %{PATH:path}

出力: {"path":"/search?q=regex"}
TTY ターミナルと擬似ターミナルの Unix デバイスパスとの一致。 20

入力: /dev/tty1

パターン: %{TTY:path}

出力: {"path":"/dev/tty1"}
URIPROTO 文字との一致。オプションでプラス (+) 文字と追加文字、またはプラス (+) 文字が続きます。 20

入力: web+transformer

パターン: %{URIPROTO:protocol}

出力: {"protocol":"web+transformer"}
URIPATH URI のパスコンポーネントとの一致 20

入力: /category/sub-category/product_name

パターン: %{URIPATH:path}

出力: {"path":"/category/sub-category/product_name"}
URIPARAM URL クエリパラメータとの一致 5

入力: ?param1=value1&param2=value2

パターン: %{URIPARAM:url}

出力: {"url":"?param1=value1&param2=value2"}
URIPATHPARAM URI パスとの一致。オプションでクエリパラメータが続きます。 5

入力: /category/sub-category/product?id=12345&color=red

パターン: %{URIPATHPARAM:path}

出力: {"path":"/category/sub-category/product?id=12345&color=red"}
[URI] 完全な URI との一致 5

入力: https://user:password@example.com/path/to/resource?param1=value1&param2=value2

パターン: %{URI:uri}

出力: {"path":"https://user:password@example.com/path/to/resource?param1=value1&param2=value2"}

日付と時刻の grok パターン

Grok パターン 説明 最大パターン制限 例
MONTH 完全な英月名または省略された英月名の単語全体との一致 20

入力: Jan

パターン: %{MONTH:month}

出力: {"month":"Jan"}

入力: January

パターン: %{MONTH:month}

出力: {"month":"January"}
MONTHNUM 1～12 の月番号との一致。1 桁の月ではオプションで先頭に 0 が付きます。 20

入力: 5

パターン: %{MONTHNUM:month}

出力: {"month":"5"}

入力: 05

パターン: %{MONTHNUM:month}

出力: {"month":"05"}
MONTHNUM2 01 から 12 までの 2 桁の月番号との一致。 20

入力: 05

パターン: %{MONTHNUM2:month}

出力: {"month":"05"}
MONTHDAY 1 から 31 までの日付との一致。オプションで先頭に 0 が付きます。 20

入力: 31

パターン: %{MONTHDAY:monthDay}

出力: {"monthDay":"31"}
YEAR 2 桁または 4 桁の年との一致 20

入力: 2024

パターン: %{YEAR:year}

出力: {"year":"2024"}

入力: 24

パターン: %{YEAR:year}

出力: {"year":"24"}
DAY 完全な日付名または省略された日付名との一致。 20

入力: Tuesday

パターン: %{DAY:day}

出力: {"day":"Tuesday"}
HOUR 24 時間形式の時間との一致。オプションで先頭にゼロ (0)0～23 が付きます。 20

入力: 22

パターン: %{HOUR:hour}

出力: {"hour":"22"}
MINUTE 分 (00～59) との一致。 20

入力: 59

パターン: %{MINUTE:min}

出力: {"min":"59"}
SECOND 秒 (0)0～60 を表す数値との一致。オプションで小数点またはコロン、小数分の 1 桁以上が続きます。 20

入力: 3

パターン: %{SECOND:second}

出力: {"second":"3"}

入力: 30.5

パターン: %{SECOND:minSec}

出力: {"minSec":"30.5"}

入力: 30:5

パターン: %{SECOND:minSec}

出力: {"minSec":"30:5"}
TIME 時間、分、秒を (H)H:mm:(s)s のフォーマットで表した時間形式との一致。秒にはうるう秒 (0)0～60 が含まれます。 20

入力: 09:45:32

パターン: %{TIME:time}

出力: {"time":"09:45:32"}
DATE_US (M)M/(d)d/(yy)yy または (M)M-(d)d-(yy)yy の形式の日付との一致。 20

入力: 11/23/2024

パターン: %{DATE_US:date}

出力: {"date":"11/23/2024"}

入力: 1-01-24

パターン: %{DATE_US:date}

出力: {"date":"1-01-24"}
DATE_EU (d)d/(M)M/(yy)yy、(d)d-(M)M-(yy)yy、または (d)d.(M)M.(yy)yyの形式の日付との一致。 20

入力: 23/11/2024

パターン: %{DATE_EU:date}

出力: {"date":"23/11/2024"}

入力: 1.01.24

パターン: %{DATE_EU:date}

出力: {"date":"1.01.24"}
ISO8601_TIMEZONE UTC オフセット 'Z' またはタイムゾーンオフセットとの一致。オプションで [+-](H)H(:)mm 形式のコロンと一致させます。 20

入力: +05:30

パターン: %{ISO8601_TIMEZONE:tz}

出力: {"tz":"+05:30"}

入力: -530

パターン: %{ISO8601_TIMEZONE:tz}

出力: {"tz":"-530"}

入力: Z

パターン: %{ISO8601_TIMEZONE:tz}

出力: {"tz":"Z"}
ISO8601_SECOND 秒 (0)0～60 を表す数値との一致。オプションで小数点またはコロン、小数秒の 1 桁以上が続きます。 20

入力: 60

パターン: %{ISO8601_SECOND:second}

出力: {"second":"60"}
TIMESTAMP_ISO8601 ISO8601 日時形式 (yy)yy-(M)M-(d)dT(H)H:mm:((s)s)(Z|[+-](H)H:mm) との一致。オプションで、秒とタイムゾーンと一致させます。 20

入力: 2023-05-15T14:30:00+05:30

パターン: %{TIMESTAMP_ISO8601:timestamp}

出力: {"timestamp":"2023-05-15T14:30:00+05:30"}

入力: 23-5-1T1:25+5:30

パターン: %{TIMESTAMP_ISO8601:timestamp}

出力: {"timestamp":"23-5-1T1:25+5:30"}

入力: 23-5-1T1:25Z

パターン: %{TIMESTAMP_ISO8601:timestamp}

出力: {"timestamp":"23-5-1T1:25Z"}
DATE %{DATE_US} を使用した米国形式または %{DATE_EU} を使用した欧州形式の日付のいずれかとの一致 20

入力: 11/29/2024

パターン: %{DATE:date}

出力: {"date":"11/29/2024"}

入力: 29.11.2024

パターン: %{DATE:date}

出力: {"date":"29.11.2024"}
DATESTAMP %{DATE} の後に %{TIME} パターンが続き、スペースまたはハイフンで区切られたものとの一致。 20

入力: 29-11-2024 14:30:00

パターン: %{DATESTAMP:dateTime}

出力: {"dateTime":"29-11-2024 14:30:00"}
TZ 一般的なタイムゾーンの略語 (PST、PDT、MST、MDT、CST CDT、EST、EDT、UTC) との一致。 20

入力: PDT

パターン: %{TZ:tz}

出力: {"tz":"PDT"}
DATESTAMP_RFC822 次の形式の日付と時刻との一致: Day MonthName (D)D (YY)YY (H)H:mm:(s)s Timezone 20

入力: Monday Jan 5 23 1:30:00 CDT

パターン: %{DATESTAMP_RFC822:dateTime}

出力: {"dateTime":"Monday Jan 5 23 1:30:00 CDT"}

入力: Mon January 15 2023 14:30:00 PST

パターン: %{DATESTAMP_RFC822:dateTime}

出力: {"dateTime":"Mon January 15 2023 14:30:00 PST"}
DATESTAMP_RFC2822 以下の RFC2822 日時形式との一致: Day、(d)d MonthName (yy)yy (H)H:mm:(s)s Z|[+-](H)H:mm 20

入力: Mon, 15 May 2023 14:30:00 +0530

パターン: %{DATESTAMP_RFC2822:dateTime}

出力: {"dateTime":"Mon, 15 May 2023 14:30:00 +0530"}

入力: Monday, 15 Jan 23 14:30:00 Z

パターン: %{DATESTAMP_RFC2822:dateTime}

出力: {"dateTime":"Monday, 15 Jan 23 14:30:00 Z"}
DATESTAMP_OTHER 次の形式の日付と時刻との一致: Day MonthName (d)d (H)H:mm:(s)s Timezone (yy)yy 20

入力: Mon May 15 14:30:00 PST 2023

パターン: %{DATESTAMP_OTHER:dateTime}

出力: {"dateTime":"Mon May 15 14:30:00 PST 2023"}
DATESTAMP_EVENTLOG 区切り文字なしのコンパクトな日時形式との一致: (yy)yyMM(d)d(H)Hmm(s)s 20

入力: 20230515143000

パターン: %{DATESTAMP_EVENTLOG:dateTime}

出力: {"dateTime":"20230515143000"}

ログ grok パターン

Grok パターン 説明 最大パターン制限 例
logLevel Alert/ALERT、Trace/TRACE、Debug/DEBUG、Notice/NOTICE、Info/INFO、Warn/Warning/WARN/WARNING、Err/Error/ERR/ERROR、Crit/Critical/CRIT/CRITICAL、Fatal/FATAL、Severe/SEVERE、Emerg/Emergency/EMERG/EMERGENCY など、さまざまな大文字と小文字の標準ログレベルとの一致。 20

入力: INFO

パターン: %{LOGLEVEL:logLevel}

出力: {"logLevel":"INFO"}
HTTPDATE ログファイルでよく使用される日付と時刻の形式との一致。形式: (d)d/MonthName/(yy)yy:(H)H:mm:(s)s Timezone MonthName: 完全または省略された英語の月名 (例:「Jan」または「January」) タイムゾーン: %{INT} grok パターンとの一致 20

入力: 23/Nov/2024:14:30:00 +0640

パターン: %{HTTPDATE:date}

出力: {"date":"23/Nov/2024:14:30:00 +0640"}
SYSLOGTIMESTAMP MMonthName (d)d (H)H:mm:(s)s を持つ日付形式との一致。MonthName: 完全な、または省略された英語の月名との一致 (例：「Jan」または「January」) 20

入力: Nov 29 14:30:00

パターン: %{SYSLOGTIMESTAMP:dateTime}

出力: {"dateTime":"Nov 29 14:30:00"}
PROG 文字、数字、ドット、アンダースコア、スラッシュ、パーセント記号、ハイフンの文字列で構成されるプログラム名との一致。 20

入力: user.profile/settings-page

パターン: %{PROG:program}

出力: {"program":"user.profile/settings-page"}
SYSLOGPROG PROG grok パターンとの一致。オプションでプロセス ID が角括弧で囲まれます。 20

入力: user.profile/settings-page[1234]

パターン: %{SYSLOGPROG:programWithId}

出力: {"programWithId":"user.profile/settings-page[1234]","program":"user.profile/settings-page","pid":"1234"}
SYSLOGHOST %{HOST} または %{IP} パターンのいずれかとの一致。 5

入力: 2001:db8:3333:4444:5555:6666:7777:8888

パターン: %{SYSLOGHOST:ip}

出力: {"ip": "2001:db8:3333:4444:5555:6666:7777:8888"}
SYSLOGFACILITY 10 進形式の syslog 優先度との一致。値は角括弧 (<>) で囲む必要があります。 20

入力: <13.6>

パターン: %{SYSLOGFACILITY:syslog}

出力: {"syslog":"<13.6>","facility":"13","priority":"6"}

一般的なログ grok パターン

事前定義されたカスタム grok パターンを使用して、Apache、NGINX、Syslog Protocol (RFC 5424) のログ形式を一致させることができます。これらの特定のパターンを使用する場合、それらは一致する設定の最初のパターンである必要があり、他のパターンの前に配置することはできません。また、1 つの DATA でのみ追跡できます。GREEDYDATA または GREEDYDATA_MULTILINE パターン。

Grok パターン 説明 最大パターン制限

APACHE_ACCESS_LOG

Apache アクセスログとの一致

1

NGINX_ACCESS_LOG

NGINX アクセスログとの一致

1

SYSLOG5424

Syslog Protocol (RFC 5424) ログとの一致

1

以下は、これらの一般的なログ形式パターンを使用するための有効および無効な例を示しています。

"%{NGINX_ACCESS_LOG} %{DATA}" // Valid
"%{SYSLOG5424}%{DATA:logMsg}" // Valid
"%{APACHE_ACCESS_LOG} %{GREEDYDATA:logMsg}" // Valid
"%{APACHE_ACCESS_LOG} %{SYSLOG5424}" // Invalid (multiple common log patterns used)
"%{NGINX_ACCESS_LOG} %{NUMBER:num}" // Invalid (Only GREEDYDATA and DATA patterns are supported with common log patterns)
"%{GREEDYDATA:logMsg} %{SYSLOG5424}" // Invalid (GREEDYDATA and DATA patterns are supported only after common log patterns)

一般的なログ形式の例

Apache ログの例

サンプルログ:

127.0.0.1 - - [03/Aug/2023:12:34:56 +0000] "GET /page.html HTTP/1.1" 200 1234

トランスフォーマー:

[
     {
        "grok": {
            "match": "%{APACHE_ACCESS_LOG}"
        }
    }
]

出力:

{
    "request": "/page.html",
    "http_method": "GET",
    "status_code": 200,
    "http_version": "1.1",
    "response_size": 1234,
    "remote_host": "127.0.0.1",
    "timestamp": "2023-08-03T12:34:56Z"
}
NGINX ログの例

サンプルログ:

192.168.1.100 - Foo [03/Aug/2023:12:34:56 +0000] "GET /account/login.html HTTP/1.1" 200 42 "https://www.amazon.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"

トランスフォーマー:

[
     {
        "grok": {
            "match": "%{NGINX_ACCESS_LOG}"
        }
    }
]

出力:

{
    "request": "/account/login.html",
    "referrer": "https://www.amazon.com/",
    "agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36",
    "http_method": "GET",
    "status_code": 200,
    "auth_user": "Foo",
    "http_version": "1.1",
    "response_size": 42,
    "remote_host": "192.168.1.100",
    "timestamp": "2023-08-03T12:34:56Z"
}
Syslog Protocol (RFC 5424) ログの例

サンプルログ:

<165>1 2003-10-11T22:14:15.003Z mymachine.example.com evntslog - ID47 [exampleSDID@32473 iut="3" eventSource= "Application" eventID="1011"][examplePriority@32473 class="high"]

トランスフォーマー:

[
     {
        "grok": {
            "match": "%{SYSLOG5424}"
        }
    }
]

出力:

{
  "pri": 165,
  "version": 1,
  "timestamp": "2003-10-11T22:14:15.003Z",
  "hostname": "mymachine.example.com",
  "app": "evntslog",
  "msg_id": "ID47",
  "structured_data": "exampleSDID@32473 iut=\"3\" eventSource= \"Application\" eventID=\"1011\"",
  "message": "[examplePriority@32473 class=\"high\"]"
}

csv

csv プロセッサは、ログイベントからカンマ区切り値 (CSV) を解析して列に分けます。

フィールド 説明 必須? デフォルト 制限

ソース

 解析されるログイベントのフィールドへのパス

いいえ

@message

最大長: 128

ネストされたキーの最大深度: 3

delimiter

 元のカンマ区切り値ログイベントの各列を区切るために使用される文字

いいえ

,

最大長: 1。値が \t または \s の場合を除く。

quoteCharacter

 データの単一の列のテキスト修飾子として使用される文字

いいえ

"

最大長: 1

columns

 変換されたログイベントの列に使用する名前のリスト。

いいえ

[column_1, column_2 ...]

最大 CSV 列: 100

最大長: 128

ネストされたキーの最大深度: 3

delimiter を \t に設定するとタブ文字の各列が区切られ、\t に設定すると 1 つの空白文字の各列が区切られます。

例

取り込まれたログイベントの一部は次のようになります。

'Akua Mansa':28:'New York: USA'

csv プロセッサのみを使用するとします。

[
     {
        "csv": {
            "delimiter": ":",
            "quoteCharacter": "'"
        }
    }
]

変換されたログイベントは次のとおりです。

{
  "column_1": "Akua Mansa",
  "column_2": "28",
  "column_3": "New York: USA"
}

parseKeyValue

parseKeyValue プロセッサを使用して、指定されたフィールドをキーと値のペアに解析します。以下のオプションを使用して、フィールド情報を解析するようにプロセッサをカスタマイズできます。

フィールド 説明 必須? デフォルト 制限

ソース

 解析されるログイベントのフィールドへのパス

いいえ

@message

最大長: 128

ネストされたキーの最大深度: 3

destination

 抽出されたキーと値のペアを配置する送信先フィールド

いいえ

最大長: 128

FieldDelimiter

 元のログイベントのキーと値のペア間で使用されるフィールド区切り文字の文字列

いいえ

&

最大長: 128

keyValueDelimiter

 変換されたログイベントの各ペアのキーと値の間に使用する区切り文字の文字列

いいえ

=

最大長: 128

nonMatchValue

キーと値のペアが正常に分割されない場合に、結果の値フィールドに挿入する値。

いいえ

最大長: 128

keyPrefix

変換されたすべてのキーにプレフィックスを追加する場合は、ここで指定します。

いいえ

最大長: 128

overwriteIfExists

 送信先キーが既に存在する場合に値を上書きするかどうか

いいえ

false

例

ログイベントの例を以下に示します。

key1:value1!key2:value2!key3:value3!key4

次のプロセッサ設定を使用しているとします。

[
    {
        "parseKeyValue": {
            "destination": "new_key",
            "fieldDelimiter": "!",
            "keyValueDelimiter": ":",
            "nonMatchValue": "defaultValue",
            "keyPrefix": "parsed_"
        }
    }
]

変換されたログイベントは次のとおりです。

{
  "new_key": {
    "parsed_key1": "value1",
    "parsed_key2": "value2",
    "parsed_key3": "value3",
    "parsed_key4": "defaultValue"
  }
}