独特性 - AWS Glue

独特性

根据给定表达式检查列中唯一值的百分比。唯一值只出现一次。

语法

Uniqueness <COL_NAME> <EXPRESSION>

  • COL_NAME — 要根据其评估数据质量规则的列的名称。

    支持的列类型：任何列类型

  • EXPRESSION — 针对规则类型响应运行以生成布尔值的表达式。有关更多信息，请参阅 Expressions。

示例

以下示例规则检查列中唯一值的百分比是否与某些数字标准相匹配。

Uniqueness "email" = 1.0
Uniqueness "Customer_ID" != 1.0 where "Customer_ID < 10"

以下示例规则会检查多个列。

Uniqueness "vendorid" "tpep_pickup_datetime" = 1

示例动态规则

  • Uniqueness "colA" between min(last(10)) and max(last(10))

  • Uniqueness "colA" >= avg(last(10))