Vollständigkeit - AWS Glue

Vollständigkeit

Prüft den Prozentsatz vollständiger (nicht null) Werte in einer Spalte anhand eines bestimmten Ausdrucks.

Syntax

Completeness <COL_NAME> <EXPRESSION>

  • COL_NAME – Der Name der Spalte, anhand der Sie die Datenqualitätsregel auswerten möchten.

    Unterstützte Spaltentypen: Jeder Spaltentyp

  • AUSDRUCK – Ein Ausdruck, der für die Antwort des Regeltyps ausgeführt wird, um einen booleschen Wert zu erzeugen. Weitere Informationen finden Sie unter Ausdrücke.

Beispiel: Prozentualer Nullwert

Die folgenden Beispielregeln prüfen, ob mehr als 95 Prozent der Werte in einer Spalte vollständig sind.

Completeness "First_Name" > 0.95
Completeness "First_Name" > 0.95 where "weightinkgs > 10"

Beispiel für dynamische Regeln

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

Nullverhalten

Hinweis zu CSV-Datenformaten: Leere Zeilen in CSV-Spalten können unterschiedliche Verhaltensweisen aufweisen.

  • Wenn eine Spalte vom Typ String ist, wird die leere Zeile als leere Zeichenfolge erkannt und verstößt nicht gegen die Completeness-Regel.

  • Wenn eine Spalte einen anderen Datentyp wie beispielsweise Int hat, wird die leere Zeile als NULL erkannt und verstößt gegen die Completeness-Regel.