Prosesor parser - Amazon CloudWatch
Prosesor OCSFProsesor CSVProsesor GrokProsesor VPCProsesor JSONProsesor Route 53Prosesor nilai kunci

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Prosesor parser

Prosesor parser mengonversi data log mentah atau semi-terstruktur menjadi format terstruktur. Setiap pipa dapat memiliki paling banyak satu prosesor parser, yang harus menjadi prosesor pertama dalam pipa.

Prosesor OCSF

Mem-parsing dan mengubah data log sesuai dengan standar Open Cybersecurity Schema Framework (OCSF).

Konfigurasi

Konfigurasikan prosesor OCSF dengan parameter berikut:

processor:
  - ocsf:
      version: "1.5"
      mapping_version: 1.5.0
      schema:
          microsoft_office365_management_activity:
Parameter
version(diperlukan)

Versi skema OCSF yang akan digunakan untuk transformasi. Harus 1,5

mapping_version(diperlukan)

Versi pemetaan OCSF untuk transformasi. Harus 1.5.0.

schema(diperlukan)

Objek skema menentukan tipe sumber data. Skema yang didukung bergantung pada jenis sumber pipa - setiap jenis sumber memiliki rangkaian skema OCSF yang kompatibel. Anda harus menggunakan skema yang cocok dengan tipe sumber pipeline Anda.

Tabel ini mencantumkan kombinasi skema yang didukung.

Jenis Sumber Pipa Skema yang Didukung Versi Versi Pemetaan
cloudwatch_logs cloud_trail: 1.5 Tidak diperlukan
cloudwatch_logs route53_resolver: 1.5 Tidak diperlukan
cloudwatch_logs vpc_flow: 1.5 Tidak diperlukan
cloudwatch_logs eks_audit: 1.5 Tidak diperlukan
cloudwatch_logs aws_waf: 1.5 Tidak diperlukan
s3 Skema OCSF apa pun Setiap Setiap
microsoft_office365 microsoft_office365_management_activity: 1.5 1.5.0
microsoft_entra_id microsoft_entra_id: 1.5 1.5.0
microsoft_windows_event microsoft_windows_event: 1.5 1.5.0
palo_alto_ngfw palo_alto_ngfw: 1.5 1.5.0

Prosesor CSV

Mem-parsing data yang diformat CSV ke dalam bidang terstruktur.

Konfigurasi

Konfigurasikan prosesor CSV dengan parameter berikut:

processor:
  - csv:      
      column_names: ["col1", "col2", "col3"]
      delimiter: ","
      quote_character: '"'
Parameter
column_names (opsional)

Array nama kolom untuk bidang yang diuraikan. Maksimal 100 kolom, masing-masing nama hingga 128 karakter. Jika tidak disediakan, default ke column_1, column_2, dan seterusnya.

delimiter (opsional)

Karakter yang digunakan untuk memisahkan bidang CSV. Harus satu karakter. Default ke koma (,).

quote_character (opsional)

Karakter yang digunakan untuk mengutip bidang CSV yang berisi pembatas. Harus satu karakter. Default untuk kutipan ganda (“).

Untuk menggunakan prosesor tanpa menentukan parameter tambahan, gunakan perintah berikut:

processor:
  - csv: {}

Prosesor Grok

Mem-parsing data tidak terstruktur menggunakan pola Grok. Paling banyak 1 Grok didukung per pipa. Untuk detail tentang transformator Grok di CloudWatch Log, lihat Prosesor yang dapat Anda gunakan di Panduan Pengguna CloudWatch Log.

Konfigurasi

Konfigurasikan prosesor Grok dengan parameter berikut:

Ketika sumber data adalah kamus, Anda dapat menggunakan konfigurasi ini:

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]

Ketika sumber data adalah CloudWatch Log, Anda dapat menggunakan konfigurasi ini:

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]
Parameter
match(diperlukan)

Pemetaan lapangan dengan pola Grok. Hanya satu pemetaan bidang yang diizinkan.

match.<field>(diperlukan)

Array dengan pola Grok tunggal. Maksimal 512 karakter per pola.

Prosesor VPC

Mem-parsing data VPC Flow Log ke dalam bidang terstruktur.

Konfigurasi

Konfigurasikan prosesor VPC dengan parameter berikut:

processor:
  - parse_vpc: {}

Prosesor JSON

Mem-parsing data JSON ke dalam bidang terstruktur.

Konfigurasi

Konfigurasikan prosesor JSON dengan parameter berikut:

processor:
  - parse_json:
      source: "message"
      destination: "parsed_json"
Parameter
source (opsional)

Bidang yang berisi data JSON untuk mengurai. Jika dihilangkan, seluruh pesan log diproses

destination (opsional)

Bidang tempat JSON yang diurai akan disimpan. Jika dihilangkan, bidang yang diuraikan ditambahkan ke tingkat root

Prosesor Route 53

Mem-parsing data log resolver Route 53 ke dalam bidang terstruktur.

Konfigurasi

Konfigurasikan prosesor Route 53 dengan parameter berikut:

processor:
  - parse_route53: {}

Prosesor nilai kunci

Mem-parsing data yang diformat pasangan kunci-nilai ke dalam bidang terstruktur.

Konfigurasi

Konfigurasikan prosesor nilai kunci dengan parameter berikut:

processor:
  - key_value:
      source: "message"
      destination: "parsed_kv"
      field_delimiter: "&"
      key_value_delimiter: "="
Parameter
source (opsional)

Bidang yang berisi data nilai kunci. Maksimal 128 karakter.

destination (opsional)

Bidang target untuk pasangan nilai kunci yang diuraikan. Maksimal 128 karakter.

field_delimiter (opsional)

Pola untuk membagi pasangan kunci-nilai. Maksimal 10 karakter.

key_value_delimiter (opsional)

Pola untuk membagi kunci dari nilai. Maksimal 10 karakter.

overwrite_if_destination_exists (opsional)

Apakah akan menimpa bidang tujuan yang ada.

prefix (opsional)

Awalan untuk ditambahkan ke kunci yang diekstraksi. Maksimal 128 karakter.

non_match_value (opsional)

Nilai untuk kunci tanpa kecocokan. Maksimal 128 karakter.

Untuk menggunakan prosesor tanpa menentukan parameter tambahan, gunakan perintah berikut:

processor:
  - key_value: {}