OpenSearch Bahasa Pemrosesan Pipa (PPL)

fields

fields field1, field2

Menampilkan sekumpulan bidang yang membutuhkan proyeksi.

join

LEFT JOIN left=l, right=r on l.id = r.id `join_right_lg` | fields l.field_1, r.field_2

Menggabungkan dua dataset bersama-sama.

where

where field1="success" | where field2 != "i-023fe0a90929d8822" | fields field3, field4, field5,field6 | head 1000

Memfilter data berdasarkan kondisi yang Anda tentukan.

aws:fieldIndex

source = [`aws:fieldIndex`="region", `region` = "us-west-2"] | where status = 200 | head 10

Mengembalikan data yang diindeks saja, dengan memaksa kueri untuk memindai hanya grup log yang diindeks pada bidang yang Anda tentukan dalam kueri.

stats

stats count(), count(field1), min(field1), max(field1), avg(field1) by field2 | head 1000

Melakukan agregasi dan perhitungan

parse

parse field1 ".*/(?<field2>[^/]+$)" | where field2 = "requestId" | fields field1, field2 | head 1000

Mengekstrak pola ekspresi reguler (regex) dari string dan menampilkan pola yang diekstraksi. Pola yang diekstraksi dapat digunakan lebih lanjut untuk membuat bidang baru atau menyaring data.

sort

stats count(), count(field1), min(field1) as field1Alias, max(`field1`), avg(`field1`) by field2 | sort -field1Alias | head 1000

Urutkan hasil yang ditampilkan dengan nama bidang. Gunakan pengurutan - FieldName untuk mengurutkan dalam urutan menurun.

eval

eval field2 = field1 * 2 | fields field1, field2 | head 20

Memodifikasi atau memproses nilai bidang dan menyimpannya di bidang yang berbeda. Ini berguna untuk memodifikasi kolom secara matematis, menerapkan fungsi string ke kolom, atau menerapkan fungsi tanggal ke kolom.

rename

rename field2 as field1 | fields field1;

Mengganti nama satu atau lebih bidang dalam hasil pencarian.

head

fields `@message` | head 20

Membatasi hasil kueri yang ditampilkan ke N baris pertama.

top

top 2 field1 by field2

Menemukan nilai yang paling sering untuk bidang.

dedup

dedup field1 | fields field1, field2, field3

Menghapus entri duplikat berdasarkan bidang yang Anda tentukan.

rare

rare field1 by field2

Menemukan nilai paling jarang dari semua bidang dalam daftar bidang.

subquery

where field_1 IN [ search source= `subquery_lg` | fields field_2 ] | fields id, field_1

Melakukan kueri kompleks dan bersarang dalam pernyataan PPL Anda.

trendline

trendline sma(2, field1) as field1Alias

Menghitung rata-rata bergerak bidang.

eventStats

eventstats sum(field1) by field2

Memperkaya data acara Anda dengan statistik ringkasan yang dihitung. Ini menganalisis bidang tertentu dalam acara Anda, menghitung berbagai ukuran statistik, dan kemudian menambahkan hasil ini ke setiap peristiwa asli sebagai bidang baru.

expand

eval tags_array_string = json_extract(`@message`, '$.tags')| eval tags_array = json_array(json_extract(tags_string, '$[0]'), json_extract(tags_string, '$[1]'))| expand tags_array as color_tags

Memecah bidang yang berisi beberapa nilai menjadi baris terpisah, membuat baris baru untuk setiap nilai di bidang yang ditentukan.

fillnull

fields `@timestamp`, error_code, status_code | fillnull using status_code = "UNKNOWN", error_code = "UNKNOWN"

Mengisi bidang null dengan nilai yang Anda berikan. Hal ini dapat digunakan dalam satu atau lebih bidang.

flatten

eval metadata_struct = json_object('size', json_extract(metadata_string, '$.size'), 'color', json_extract(metadata_string, '$.color')) | flatten metadata_struct as (meta_size, meta_color)

Meratakan bidang. Bidang harus dari jenis ini: struct<?,?> atauarray<struct<?,?>>.

cidrmatch

where cidrmatch(ip, '2003:db8::/32') | fields ip

Memeriksa apakah alamat IP yang ditentukan berada dalam kisaran CIDR yang diberikan.

fieldsummary

where field1 != 200 | fieldsummary includefields= field1 nulls=true

Menghitung statistik dasar untuk setiap bidang (hitungan, hitungan berbeda, min, maks, avg, stddev, dan mean).

grok

grok email '.+@%{HOSTNAME:host}' | fields email, host

Mengurai bidang teks dengan pola grok dan menambahkan hasil ke hasil pencarian.

Fungsi string

eval field1Len = LENGTH(field1) | fields field1Len

Built-in fungsi dalam PPL yang dapat memanipulasi dan mengubah data string dan teks dalam kueri PPL. Misalnya, mengubah kasus, menggabungkan string, mengekstraksi bagian, dan membersihkan teks.

Date-Time fungsi

eval newDate = ADDDATE(DATE('2020-08-26'), 1) | fields newDate

Built-in fungsi untuk menangani dan mengubah data tanggal dan stempel waktu dalam kueri PPL. Misalnya, date_add, date_format, datediff, date-sub, timestampadd, timestampdiff, current_timezone, utc_timestamp, dan current_date.

Fungsi syarat

eval field2 = isnull(field1) | fields field2, field1, field3

Built-in fungsi yang memeriksa kondisi bidang tertentu, dan mengevaluasi ekspresi secara kondisional. Misalnya, jika field1 adalah null, kembalikan field2.

Fungsi matematika

eval field2 = ACOS(field1) | fields field1

Built-in fungsi untuk melakukan perhitungan matematis dan transformasi dalam kueri PPL. Misalnya, abs (nilai absolut), bulat (putaran angka), sqrt (akar kuadrat), pow (perhitungan daya), dan ceil (membulatkan ke bilangan bulat terdekat).

CryptoGraphic fungsi

eval crypto = MD5(field)| head 1000

Untuk menghitung hash bidang yang diberikan

Fungsi JSON

eval valid_json = json('[1,2,3,{"f1":1,"f2":[5,6]},4]') | fields valid_json

Built-in fungsi untuk menangani JSON termasuk array, ekstraksi, dan validasi. Misalnya, json_object, json_array, to_json_string, json_array_length, json_extract, json_keys, dan json_valid.