IsComplete - AWS Glue

IsComplete

Vérifie si toutes les valeurs d’une colonne sont complètes (non nulles).

Syntaxe

IsComplete <COL_NAME>

  • COL_NAME – Nom de la colonne par rapport à laquelle la règle de qualité des données doit être évaluée.

    Types de colonnes pris en charge : n’importe quel type de colonne

Exemple : valeurs nulles

L’exemple suivant vérifie si toutes les valeurs d’une colonne nommée email ne sont pas nulles.

IsComplete "email"
IsComplete "Email" where "Customer_ID between 1 and 50"
IsComplete "Customer_ID"  where "Customer_ID < 16 and Customer_ID != 12"
IsComplete "passenger_count" where "payment_type<>0"

Comportement null

Remarque sur les formats de données CSV : les lignes vides des colonnes CSV peuvent afficher plusieurs comportements.

  • Si une colonne est de type String, la ligne vide sera reconnue comme une chaîne vide et ne dérogera pas à la règle Completeness.

  • Si une colonne est d’un autre type de données, comme Int, la ligne vide sera reconnue comme NULL et dérogera à la règle Completeness.