Intégralité - AWS Glue

Intégralité

Compare le pourcentage de valeurs complètes (non nulles) d’une colonne à une expression donnée.

Syntaxe

Completeness <COL_NAME> <EXPRESSION>

  • COL_NAME – Nom de la colonne par rapport à laquelle la règle de qualité des données doit être évaluée.

    Types de colonnes pris en charge : n’importe quel type de colonne

  • EXPRESSION – Expression à exécuter en fonction de la réponse du type de règle afin de produire une valeur booléenne. Pour plus d’informations, consultez Expressions.

Exemple : pourcentage de valeur nulle

Les exemples de règles suivants vérifient si plus de 95 % des valeurs d’une colonne sont complètes.

Completeness "First_Name" > 0.95
Completeness "First_Name" > 0.95 where "weightinkgs > 10"

Exemples de règles dynamiques

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

Comportement null

Remarque sur les formats de données CSV : les lignes vides des colonnes CSV peuvent afficher plusieurs comportements.

  • Si une colonne est de type String, la ligne vide sera reconnue comme une chaîne vide et ne dérogera pas à la règle Completeness.

  • Si une colonne est d’un autre type de données, comme Int, la ligne vide sera reconnue comme NULL et dérogera à la règle Completeness.