StandardDeviation - AWS Glue

StandardDeviation

Vérifie l’écart type de toutes les valeurs d’une colonne par rapport à une expression donnée.

Syntaxe

StandardDeviation <COL_NAME> <EXPRESSION>

  • COL_NAME – Nom de la colonne par rapport à laquelle la règle de qualité des données doit être évaluée.

    Types de colonnes pris en charge : octet, décimal, double, virgule flottante, entier, long, court

  • EXPRESSION – Expression à exécuter en fonction de la réponse du type de règle afin de produire une valeur booléenne. Pour plus d’informations, consultez Expressions.

Exemple : écart type

L’exemple de règle suivant vérifie si l’écart type des valeurs d’une colonne nommée colA est inférieur à une valeur spécifiée.

StandardDeviation "Star_Rating" < 1.5
StandardDeviation "Salary" < 3500 where "Customer_ID < 10"

Exemples de règles dynamiques

  • StandardDeviation "colA" > avg(last(10) + 0.1

  • StandardDeviation "colA" between min(last(10)) - 1 and max(last(10)) + 1

Comportement null

La règle StandardDeviation ignorera les lignes contenant des valeurs NULL dans le calcul de l’écart type. Par exemple : 

+---+-----------+-----------+
|id |units1     |units2     |
+---+-----------+-----------+
|100|0          |0          |
|101|null       |0          |
|102|20         |20         |
|103|null       |0          |
|104|40         |40         |
+---+-----------+-----------+

L’écart type de la colonne units1 ne tiendra pas compte des lignes 101 et 103 et donnera 16,33. L’écart type pour la colonne units2 sera de 16.