OpenSearch Piped Processing Language (PPL)

fields

fields field1, field2

Visualizza una serie di campi che devono essere proiettati.

join

LEFT JOIN left=l, right=r on l.id = r.id `join_right_lg` | fields l.field_1, r.field_2

Unisce due set di dati.

where

where field1="success" | where field2 != "i-023fe0a90929d8822" | fields field3, field4, field5,field6 | head 1000

Filtra i dati in base alle condizioni specificate.

aws:fieldIndex

source = [`aws:fieldIndex`="region", `region` = "us-west-2"] | where status = 200 | head 10

Restituisce solo i dati indicizzati, forzando una query a scansionare solo i gruppi di log indicizzati in un campo specificato nella query.

stats

stats count(), count(field1), min(field1), max(field1), avg(field1) by field2 | head 1000

Esegue aggregazioni e calcoli

parse

parse field1 ".*/(?<field2>[^/]+$)" | where field2 = "requestId" | fields field1, field2 | head 1000

Estrae un modello di espressione regolare (regex) da una stringa e visualizza il modello estratto. Il modello estratto può essere ulteriormente utilizzato per creare nuovi campi o filtrare dati.

sort

stats count(), count(field1), min(field1) as field1Alias, max(`field1`), avg(`field1`) by field2 | sort -field1Alias | head 1000

Ordina i risultati visualizzati in base al nome di un campo. Usa sort - FieldName per ordinare in ordine decrescente.

eval

eval field2 = field1 * 2 | fields field1, field2 | head 20

Modifica o elabora il valore di un campo e lo memorizza in un campo diverso. Ciò è utile per modificare matematicamente una colonna, applicare funzioni di stringa a una colonna o applicare funzioni di data a una colonna.

rename

rename field2 as field1 | fields field1;

Rinomina uno o più campi nel risultato della ricerca.

head

fields `@message` | head 20

Limita i risultati dell'interrogazione visualizzati alle prime N righe.

top

top 2 field1 by field2

Trova i valori più frequenti per un campo.

dedup

dedup field1 | fields field1, field2, field3

Rimuove le voci duplicate in base ai campi specificati.

rare

rare field1 by field2

Trova i valori meno frequenti di tutti i campi nell'elenco dei campi.

subquery

where field_1 IN [ search source= `subquery_lg` | fields field_2 ] | fields id, field_1

Esegue interrogazioni complesse e annidate all'interno delle istruzioni PPL.

trendline

trendline sma(2, field1) as field1Alias

Calcola le medie mobili dei campi.

eventStats

eventstats sum(field1) by field2

Arricchisce i dati degli eventi con statistiche riassuntive calcolate. Analizza i campi specificati all'interno degli eventi, calcola varie misure statistiche e quindi aggiunge questi risultati a ciascun evento originale come nuovi campi.

expand

eval tags_array_string = json_extract(`@message`, '$.tags')| eval tags_array = json_array(json_extract(tags_string, '$[0]'), json_extract(tags_string, '$[1]'))| expand tags_array as color_tags

Suddivide un campo contenente più valori in righe separate, creando una nuova riga per ogni valore nel campo specificato.

fillnull

fields `@timestamp`, error_code, status_code | fillnull using status_code = "UNKNOWN", error_code = "UNKNOWN"

Riempie i campi nulli con il valore fornito. Può essere utilizzato in uno o più campi.

flatten

eval metadata_struct = json_object('size', json_extract(metadata_string, '$.size'), 'color', json_extract(metadata_string, '$.color')) | flatten metadata_struct as (meta_size, meta_color)

Appiattisce un campo. Il campo deve essere di questo tipo: struct<?,?> o. array<struct<?,?>>

cidrmatch

where cidrmatch(ip, '2003:db8::/32') | fields ip

Verifica se l'indirizzo IP specificato rientra nell'intervallo CIDR specificato.

fieldsummary

where field1 != 200 | fieldsummary includefields= field1 nulls=true

Calcola le statistiche di base per ogni campo (conteggio, conteggio distinto, min, max, avg, stddev e media).

grok

grok email '.+@%{HOSTNAME:host}' | fields email, host

Analizza un campo di testo con un pattern grok e aggiunge i risultati al risultato della ricerca.

Funzioni stringa

eval field1Len = LENGTH(field1) | fields field1Len

Built-in funzioni in PPL in grado di manipolare e trasformare stringhe e dati di testo all'interno di interrogazioni PPL. Ad esempio, convertendo maiuscole e minuscole, combinando stringhe, estraendo parti e pulendo il testo.

Date-Time funzioni

eval newDate = ADDDATE(DATE('2020-08-26'), 1) | fields newDate

Built-in funzioni per la gestione e la trasformazione dei dati di data e ora nelle interrogazioni PPL. Ad esempio, date_add, date_format, datediff, date-sub, timestampadd, timestampdiff, current_timezone, utc_timestamp e current_date.

Funzioni di condizione

eval field2 = isnull(field1) | fields field2, field1, field3

Built-in funzioni che controllano condizioni specifiche dei campi e valutano le espressioni in modo condizionale. Ad esempio, se field1 è nullo, restituisce field2.

Funzioni matematiche

eval field2 = ACOS(field1) | fields field1

Built-in funzioni per eseguire calcoli matematici e trasformazioni nelle interrogazioni PPL. Ad esempio, abs (valore assoluto), round (arrotonda i numeri), sqrt (radice quadrata), pow (calcolo della potenza) e ceil (arrotonda al numero intero più vicino).

CryptoGraphic funzioni

eval crypto = MD5(field)| head 1000

Per calcolare l'hash di un determinato campo

Funzioni JSON

eval valid_json = json('[1,2,3,{"f1":1,"f2":[5,6]},4]') | fields valid_json

Built-in funzioni per la gestione di JSON, inclusi array, estrazione e convalida. Ad esempio, json_object, json_array, to_json_string, json_array_length, json_extract, json_keys e json_valid.