OpenSearch Linguagem de processamento canalizado (PPL)

fields

fields field1, field2

Exibe um conjunto de campos que precisam de projeção.

ingressar

LEFT JOIN left=l, right=r on l.id = r.id `join_right_lg` | fields l.field_1, r.field_2

Une dois conjuntos de dados.

para onde

where field1="success" | where field2 != "i-023fe0a90929d8822" | fields field3, field4, field5,field6 | head 1000

Filtra os dados com base nas condições que você especifica.

AWS: Índice de campo

source = [`aws:fieldIndex`="region", `region` = "us-west-2"] | where status = 200 | head 10

Retorna somente dados indexados, forçando uma consulta a examinar somente grupos de registros que estão indexados em um campo que você especifica na consulta.

stats

stats count(), count(field1), min(field1), max(field1), avg(field1) by field2 | head 1000

Executa agregações e cálculos

parse

parse field1 ".*/(?<field2>[^/]+$)" | where field2 = "requestId" | fields field1, field2 | head 1000

Extrai um padrão de expressão regular (regex) de uma string e exibe o padrão extraído. O padrão extraído pode ser usado posteriormente para criar novos campos ou filtrar dados.

sort

stats count(), count(field1), min(field1) as field1Alias, max(`field1`), avg(`field1`) by field2 | sort -field1Alias | head 1000

Classifique os resultados exibidos por um nome de campo. Use classificar - FieldName para classificar em ordem decrescente.

eval

eval field2 = field1 * 2 | fields field1, field2 | head 20

Modifica ou processa o valor de um campo e o armazena em um campo diferente. Esse comando é útil para modificar matematicamente uma coluna, aplicar funções de string a uma coluna ou aplicar funções de data a uma coluna.

rename

rename field2 as field1 | fields field1;

Renomeia um ou mais campos no resultado da pesquisa.

head

fields `@message` | head 20

Limita os resultados da consulta exibidos às primeiras N linhas.

top

top 2 field1 by field2

Encontra os valores mais frequentes para um campo.

dedup

dedup field1 | fields field1, field2, field3

Remove entradas duplicadas com base nos campos que você especifica.

rare

rare field1 by field2

Localiza os valores menos frequentes de todos os campos na lista de campos.

subconsulta

where field_1 IN [ search source= `subquery_lg` | fields field_2 ] | fields id, field_1

Executa consultas complexas e aninhadas em suas instruções de PPL.

trendline

trendline sma(2, field1) as field1Alias

Calcula as médias móveis dos campos.

eventStats

eventstats sum(field1) by field2

Enriquece os dados do seu evento com estatísticas resumidas calculadas. Esse comando analisa campos especificados em seus eventos, calcula várias medidas estatísticas e, em seguida, anexa esses resultados a cada evento original como novos campos.

expandir

eval tags_array_string = json_extract(`@message`, '$.tags')| eval tags_array = json_array(json_extract(tags_string, '$[0]'), json_extract(tags_string, '$[1]'))| expand tags_array as color_tags

Divide um campo contendo vários valores em linhas separadas, criando uma nova linha para cada valor no campo especificado.

fillnull

fields `@timestamp`, error_code, status_code | fillnull using status_code = "UNKNOWN", error_code = "UNKNOWN"

Preenche campos nulos com o valor que você fornece. Pode ser usado em um ou mais campos.

nivelamento

eval metadata_struct = json_object('size', json_extract(metadata_string, '$.size'), 'color', json_extract(metadata_string, '$.color')) | flatten metadata_struct as (meta_size, meta_color)

Nivela um campo. O campo deve ser do tipo: struct<?,?> ou array<struct<?,?>>.

cidrmatch

where cidrmatch(ip, '2003:db8::/32') | fields ip

Verifica se o endereço IP especificado está dentro do intervalo CIDR especificado.

fieldsummary

where field1 != 200 | fieldsummary includefields= field1 nulls=true

Calcula estatísticas básicas para cada campo (contagem, contagem distinta, mín, máx, méd., stddev e mediana).

grok

grok email '.+@%{HOSTNAME:host}' | fields email, host

Analisa um campo de texto com um padrão Grok e anexa os resultados ao resultado da pesquisa.

Funções de string

eval field1Len = LENGTH(field1) | fields field1Len

Funções integradas na PPL que podem manipular e transformar dados de string e texto em consultas PPL. Por exemplo, converter maiúsculas e minúsculas, combinar strings, extrair partes e apagar texto.

Funções de data e hora

eval newDate = ADDDATE(DATE('2020-08-26'), 1) | fields newDate

Funções integradas para manipular e transformar dados de data e carimbo de data/hora em consultas PPL. Por exemplo: date_add, date_format, datediff, date-sub, timestampadd, timestampdiff, current_timezone, utc_timestamp, e current_date.

Funções de condição

eval field2 = isnull(field1) | fields field2, field1, field3

Funções integradas que verificam condições de campo específicas e avaliam expressões condicionalmente. Por exemplo, se campo1 for nulo, retorne campo2.

Funções matemáticas

eval field2 = ACOS(field1) | fields field1

Funções integradas para realizar cálculos matemáticos e transformações em consultas PPL. Por exemplo: abs (valor absoluto), round (arredonda números), sqrt (raiz quadrada), pow (cálculo de potência) e ceil (arredonda até o número inteiro mais próximo).

CryptoGraphic funções

eval crypto = MD5(field)| head 1000

Para calcular o hash de um determinado campo

Funções JSON

eval valid_json = json('[1,2,3,{"f1":1,"f2":[5,6]},4]') | fields valid_json

Funções integradas para manipular JSON, incluindo matrizes, extração e validação. Por exemplo: json_object, json_array, to_json_string, json_array_length, json_extract, json_keys e json_valid.