重複排除

指定したフィールドの特定の値に基づいて、重複した結果を削除するときは、dedup を使用します。dedup は 1 つ以上のフィールドで使用できます。dedup を使ってフィールドを 1 つ指定すると、そのフィールドの一意の値ごとに 1 つのログイベントのみが返されます。複数のフィールドを指定すると、そのフィールドの一意の値の組み合わせごとに 1 つのログイベントが返されます。

重複はソート順に基づいて破棄され、ソート順の最初の結果だけが保持されます。dedup コマンドを実行する前に、結果をソートすることが推奨されます。dedup を実行する前に結果がソートされていない場合は、@timestamp を使用しているデフォルトの降順のソート順が使用されます。

NULL 値は、評価において重複とは見なされません。指定したフィールドのいずれかに NULL 値が含まれるログイベントは保持されます。NULL 値のフィールドを削除するには、isPresent(field) 関数を使用して filter を実行します。

dedup コマンドの後のクエリで使用できるクエリコマンドは、limit だけです。

クエリdedupで を使用すると、コンソールに「Showing X of Y records」などのメッセージが表示されます。ここで、X は重複排除された結果の数、Y は重複排除前に一致したレコードの合計数です。これは、重複するレコードが削除されたことを示すものであり、データが欠落していることを意味するものではありません。

例: server という名前のフィールドの、一意の値ごとに、最新のログイベントのみを表示 します。

次の例では、server の一意の値ごとに、最新のイベントの timestamp、server、severity、message フィールドのみを表示します。

fields @timestamp, server, severity, message 
| sort @timestamp desc 
| dedup server

CloudWatch Logs Insights クエリのその他の例については、「一般的なクエリ」を参照してください。