Intégralité - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégralité

Compare le pourcentage de valeurs complètes (non nulles) d’une colonne à une expression donnée.

Syntaxe

Completeness <COL_NAME> <EXPRESSION>

  • COL_NAME – Nom de la colonne par rapport à laquelle la règle de qualité des données doit être évaluée.

    Types de colonnes pris en charge : n’importe quel type de colonne

  • EXPRESSION – Expression à exécuter en fonction de la réponse du type de règle afin de produire une valeur booléenne. Pour plus d’informations, consultez Expressions.

Exemple : pourcentage de valeur nulle

Les exemples de règles suivants vérifient si plus de 95 % des valeurs d’une colonne sont complètes.

Completeness "First_Name" > 0.95
Completeness "First_Name" > 0.95 where "weightinkgs > 10"

Exemples de règles dynamiques

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

Comportement null

Remarque sur les formats de données CSV : les lignes vides des colonnes CSV peuvent afficher plusieurs comportements.

  • Si une colonne est de type String, la ligne vide sera reconnue comme une chaîne vide et ne dérogera pas à la règle Completeness.

  • Si une colonne est d’un autre type de données, comme Int, la ligne vide sera reconnue comme NULL et dérogera à la règle Completeness.