IsComplete - AWS Glue

IsComplete

Prüft, ob alle Werte in einer Spalte vollständig (nicht null) sind.

Syntax

IsComplete <COL_NAME>

  • COL_NAME – Der Name der Spalte, anhand der Sie die Datenqualitätsregel auswerten möchten.

    Unterstützte Spaltentypen: Jeder Spaltentyp

Beispiel: Nullwerte

Das folgende Beispiel prüft, ob alle Werte in einer Spalte mit dem Namen email nicht null sind.

IsComplete "email"
IsComplete "Email" where "Customer_ID between 1 and 50"
IsComplete "Customer_ID"  where "Customer_ID < 16 and Customer_ID != 12"
IsComplete "passenger_count" where "payment_type<>0"

Nullverhalten

Hinweis zu CSV-Datenformaten: Leere Zeilen in CSV-Spalten können unterschiedliche Verhaltensweisen aufweisen.

  • Wenn eine Spalte vom Typ String ist, wird die leere Zeile als leere Zeichenfolge erkannt und verstößt nicht gegen die Completeness-Regel.

  • Wenn eine Spalte einen anderen Datentyp wie beispielsweise Int hat, wird die leere Zeile als NULL erkannt und verstößt gegen die Completeness-Regel.