OpenSearch Linguagem de processamento canalizado (PPL)

fields

fields field1, field2

Exibe um conjunto de campos que precisam de projeção.

ingressar

LEFT JOIN left=l, right=r on l.id = r.id `join_right_lg` | fields l.field_1, r.field_2

Une dois conjuntos de dados.

para onde

where field1="success" | where field2 != "i-023fe0a90929d8822" | fields field3, field4, field5,field6 | head 1000

Filtra os dados com base nas condições que você especifica.

stats

stats count(), count(field1), min(field1), max(field1), avg(field1) by field2 | head 1000

Executa agregações e cálculos

parse

parse field1 ".*/(?<field2>[^/]+$)" | where field2 = "requestId" | fields field1, field2 | head 1000

Extrai um padrão de expressão regular (regex) de uma string e exibe o padrão extraído. O padrão extraído pode ser usado posteriormente para criar novos campos ou filtrar dados.

sort

stats count(), count(field1), min(field1) as field1Alias, max(`field1`), avg(`field1`) by field2 | sort -field1Alias | head 1000

Classifique os resultados exibidos pelo nome do campo. Use classificar - FieldName para classificar em ordem decrescente.

avaliação

eval field2 = field1 * 2 | fields field1, field2 | head 20

Modifica ou processa o valor de um campo e o armazena em um campo diferente. Isso é útil para modificar matematicamente uma coluna, aplicar funções de string a uma coluna ou aplicar funções de data a uma coluna.

rename

rename field2 as field1 | fields field1;

Renomeia um ou mais campos no resultado da pesquisa.

head

fields `@message` | head 20

Limita os resultados da consulta exibidos às primeiras N linhas.

top

top 2 field1 by field2

Encontra os valores mais frequentes para um campo.

dedup

dedup field1 | fields field1, field2, field3

Remove entradas duplicadas com base nos campos que você especifica.

raro

rare field1 by field2

Encontra os valores menos frequentes de todos os campos na lista de campos.

subconsulta

where field_1 IN [ search source= `subquery_lg` | fields field_2 ] | fields id, field_1

Executa consultas complexas e aninhadas em suas instruções PPL.

linha de tendência

trendline sma(2, field1) as field1Alias

Calcula as médias móveis dos campos.

Estatísticas do evento

eventstats sum(field1) by field2

Enriquece os dados do seu evento com estatísticas resumidas calculadas. Ele analisa campos especificados em seus eventos, calcula várias medidas estatísticas e, em seguida, anexa esses resultados a cada evento original como novos campos.

expandir

eval tags_array_string = json_extract(`@message`, '$.tags')| eval tags_array = json_array(json_extract(tags_string, '$[0]'), json_extract(tags_string, '$[1]'))| expand tags_array as color_tags

Divide um campo contendo vários valores em linhas separadas, criando uma nova linha para cada valor no campo especificado.

preenchimento nulo

fields `@timestamp`, error_code, status_code | fillnull using status_code = "UNKNOWN", error_code = "UNKNOWN"

Preenche campos nulos com o valor que você fornece. Ele pode ser usado em um ou mais campos.

nivelamento

eval metadata_struct = json_object('size', json_extract(metadata_string, '$.size'), 'color', json_extract(metadata_string, '$.color')) | flatten metadata_struct as (meta_size, meta_color)

Nivela um campo. O campo deve ser desse tipo: struct<?,?> ouarray<struct<?,?>>.

cidra fósforo

where cidrmatch(ip, '2003:db8::/32') | fields ip

Verifica se o endereço IP especificado está dentro do intervalo CIDR especificado.

resumo do campo

where field1 != 200 | fieldsummary includefields= field1 nulls=true

Calcula estatísticas básicas para cada campo (contagem, contagem distinta, min, max, avg, stddev e média).

grok

grok email '.+@%{HOSTNAME:host}' | fields email, host

Analisa um campo de texto com um padrão grok e anexa os resultados ao resultado da pesquisa.

Funções de string

eval field1Len = LENGTH(field1) | fields field1Len

Funções integradas no PPL que podem manipular e transformar dados de string e texto em consultas PPL. Por exemplo, converter maiúsculas e minúsculas, combinar sequências de caracteres, extrair partes e limpar texto.

Funções de data e hora

eval newDate = ADDDATE(DATE('2020-08-26'), 1) | fields newDate

Funções integradas para lidar e transformar dados de data e timestamp em consultas PPL. Por exemplo, date_add, date_format, datediff, date-sub, timestampadd, timestampdiff, current_timezone, utc_timestamp e current_date.

Funções de condição

eval field2 = isnull(field1) | fields field2, field1, field3

Funções integradas que verificam condições de campo específicas e avaliam expressões condicionalmente. Por exemplo, se o campo1 for nulo, retorne o campo2.

Funções matemáticas

eval field2 = ACOS(field1) | fields field1

Funções integradas para realizar cálculos matemáticos e transformações em consultas PPL. Por exemplo, abs (valor absoluto), round (arredonda números), sqrt (raiz quadrada), pow (cálculo de potência) e ceil (arredonda até o número inteiro mais próximo).

CryptoGraphic funções

eval crypto = MD5(field)| head 1000

Para calcular o hash de um determinado campo

Funções JSON

eval valid_json = json('[1,2,3,{"f1":1,"f2":[5,6]},4]') | fields valid_json

Funções integradas para lidar com JSON, incluindo matrizes, extração e validação. Por exemplo, json_object, json_array, to_json_string, json_array_length, json_extract, json_keys e json_valid.