dedup

Use dedup para remover resultados duplicados com base em valores específicos em campos que você especifica. É possível usar dedup com um ou mais campos. Se você especificar um campo com dedup, apenas um evento de log será retornado para cada valor exclusivo desse campo. Se especificar vários campos, um evento de log será retornado para cada combinação exclusiva de valores desses campos.

As duplicatas serão descartadas em ordem de classificação, e apenas o primeiro resultado dessa ordem será mantido. Convém classificar os resultados antes de os submeter ao comando dedup. Se os resultados não forem classificados antes de serem executados por dedup, a ordem de classificação decrescente padrão @timestamp será usada.

Valores nulos não são considerados duplicatas para avaliação. Eventos de log com valores nulos para qualquer um dos campos especificados são mantidos. Para eliminar campos com valores nulos, use filter com a função isPresent(field).

O único comando de consulta que você pode usar em uma consulta após o comando dedup é limit.

Exemplo: visualizar somente o evento de log mais recente de cada valor exclusivo do campo chamado server

O exemplo a seguir mostra os campos timestamp, server, severity e message somente para o evento mais recente de cada valor exclusivo de server.

fields @timestamp, server, severity, message 
| sort @timestamp desc 
| dedup server

Para ver mais exemplos de consultas do CloudWatch Logs Insights, consulteConsultas gerais.