数据质量定义语言（DQDL）引用

数据质量定义语言（DQDL）是一种特定领域的语言，用于定义 AWS Glue Data Quality 规则。

本指南介绍了关键的 DQDL 概念，以帮助您理解该语言。它还通过语法和示例为 DQDL 规则类型提供了参考。在使用本指南之前，我们建议您熟悉 AWS Glue Data Quality。有关更多信息，请参阅 AWS Glue Data Quality。

DL 语法

DQDL 文档区分大小写，并包含一个规则集，该规则集将各个数据质量规则组合在一起。要构造规则集，必须创建一个名为 Rules（大写）的列表，由一对方括号分隔。该列表应包含一个或多个以逗号分隔的 DQDL 规则，如下例所示。

Rules = [
   IsComplete "order-id",
   IsUnique "order-id"
]

规则结构

DQDL 规则的结构取决于规则类型。但是，DQDL 规则通常符合以下格式。

<RuleType> <Parameter> <Parameter> <Expression>

RuleType 是要配置的规则类型的区分大小写名称。例如，IsComplete、IsUnique 或 CustomSql。每种规则类型的规则参数都不同。有关 DQDL 规则类型及其参数的完整参考，请参阅DL 规则类型引用。

复合规则

您可以使用同一个运算符连接多个规则，因此允许使用以下规则组合。

(Mean "Star_Rating" > 3) and (Mean "Order_Total" > 500) and (IsComplete "Order_Id")

您可以将逻辑运算符组合成一个表达式。例如：

(Mean "Star_Rating" > 3) and ((Mean "Order_Total" > 500) or (IsComplete "Order_Id"))

您还可以编写更复杂的嵌套规则。

(RowCount > 0) or ((IsComplete "colA") and (IsUnique "colA"))

复合规则的工作原理

默认情况下，复合规则将作为整个数据集或表中的单个规则进行评估，然后合并结果。换句话说，它会首先评估整列，然后应用运算符。下面举例说明这种默认行为：

# Dataset

+------+------+
|myCol1|myCol2|
+------+------+
|     2|     1|
|     0|     3|
+------+------+

# Overall outcome

+----------------------------------------------------------+-------+
|Rule                                                      |Outcome|
+----------------------------------------------------------+-------+
|(ColumnValues "myCol1" > 1) OR (ColumnValues "myCol2" > 2)|Failed |
+----------------------------------------------------------+-------+
      

在上面的示例中，AWS Glue Data Quality 会首先评估会导致失效的 (ColumnValues "myCol1" > 1)。然后它将评估同时也会出现失效的 (ColumnValues "myCol2" > 2)。两个结果的组合将被标记为 FAILED。

但是，如果您更喜欢与 SQL 类似的行为，即需要评估整行，则必须显式设置 ruleEvaluation.scope 参数，如下面代码片段中的 additionalOptions 所示。

object GlueApp {
  val datasource = glueContext.getCatalogSource(
    database="<db>",
    tableName="<table>",
    transformationContext="datasource"
  ).getDynamicFrame()

  val ruleset = """
    Rules = [
        (ColumnValues "age" >= 26) OR (ColumnLength "name" >= 4)        
    ]
  """

  val dq_results = EvaluateDataQuality.processRows(
    frame=datasource,
    ruleset=ruleset,
    additionalOptions=JsonOptions("""
        {
          "compositeRuleEvaluation.method":"ROW"
        }
      """
    )
  )
}     
      

在 AWS Glue Data Catalog 中，您可以在用户界面中轻松配置此选项，如下所示。

设置完成后，复合规则将作为评估整行的单个规则运行。以下示例说明了此行为。

# Row Level outcome

+------+------+------------------------------------------------------------+---------------------------+
|myCol1|myCol2|DataQualityRulesPass                                        |DataQualityEvaluationResult|
+------+------+------------------------------------------------------------+---------------------------+
|2     |1     |[(ColumnValues "myCol1" > 1) OR (ColumnValues "myCol2" > 2)]|Passed                     |
|0     |3     |[(ColumnValues "myCol1" > 1) OR (ColumnValues "myCol2" > 2)]|Passed                     |
+------+------+------------------------------------------------------------+---------------------------+     
      

此功能不支持某些规则，因为其总体结果依赖阈值或比率。不支持的规则列举如下。

依赖比率的规则：

依赖阈值的规则：

当以下规则包含阈值时，则不支持这些规则。但是，不涉及 with threshold 的规则仍受支持。

Expressions

如果规则类型不生成布尔响应，则必须提供表达式作为参数才能创建布尔响应。例如，以下规则根据表达式检查列中所有值的均值（平均值），以返回真或假结果。

Mean "colA" between 80 and 100

某些规则类型（例如 IsUnique 和 IsComplete）已经返回布尔响应。

下表列出了您可在 DL 规则中使用的表达式。

Completeness "colA" = "1.0",
ColumnValues "colA" = "2022-06-30"

ColumnValues "colA" != "a",
ColumnValues "colA" != "2022-06-30"

ColumnValues "colA" > 10

ColumnValues "colA" < 1000,
ColumnValues "colA" < "2022-06-30"

ColumnValues "colA" >= 10

ColumnValues "colA" <= 1000

Mean "colA" between 8 and 100,
ColumnValues "colA" between "2022-05-31" and "2022-06-30"

ColumnValues "colA" not between "2022-05-31" and "2022-06-30"

ColumnValues "colA" in [ 1, 2, 3 ],
ColumnValues "colA" in [ "a", "b", "c" ]

ColumnValues "colA" not in [ 1, 2, 3 ],
ColumnValues "colA" not in [ "a", "b", "c" ]

ColumnValues "colA" matches "[a-zA-Z]*"

ColumnValues "colA" not matches "[a-zA-Z]*"

ColumnValues "load_date" > (now() - 3 days)

ColumnValues "colA" in ["A", "B"] with threshold > 0.8,
ColumnValues "colA" matches "[a-zA-Z]*" with threshold between 0.2 and 0.9
ColumnDataType "colA" = "Timestamp" with threshold > 0.9

NULL、EMPTY 和 WHITESPACE_ONLY 的关键字

如果要验证字符串列是否为零、空或属于仅包含空格的字符串，则可以使用以下关键字：

对于基于数值或日期的表达式，如果要验证列是否包含零值，则可以使用以下关键字。

使用 Where 子句进行筛选

您可以在编写规则时筛选数据。当您想要应用条件规则时，这会很有用。

<DQDL Rule> where "<valid SparkSQL where clause> "

必须使用 where 关键字指定筛选条件，后跟一个用引号 ("") 括起有效 SparkSQL 语句。

如果您希望将 where 子句添加到具有阈值的规则中，则应在指定阈值条件之前指定 where 子句。

<DQDL Rule> where "valid SparkSQL statement>" with threshold <threshold condition>
        

您可以使用此语法编写如下规则。

Completeness "colA" > 0.5 where "colB = 10"
ColumnValues "colB" in ["A", "B"] where "colC is not null" with threshold > 0.9
ColumnLength "colC" > 10 where "colD != Concat(colE, colF)"

我们将验证所提供的 SparkSQL 语句是否有效。如果无效，规则评估将失败，我们将按照以下格式引发 IllegalArgumentException：

Rule <DQDL Rule> where "<invalid SparkSQL>" has provided an invalid where clause :
<SparkSQL Error>

启用行级错误记录识别时的 where 子句行为

借助 AWS Glue 数据质量自动监测功能，您可以识别失败的特定记录。将 where 子句应用于支持行级结果的规则时，我们会将 where 子句筛选出的行标记为 Passed。

如果您希望将筛选出的行单独标记为 SKIPPED，则可以为 ETL 作业设置以下 additionalOptions。

object GlueApp {
  val datasource = glueContext.getCatalogSource(
    database="<db>",
    tableName="<table>",
    transformationContext="datasource"
  ).getDynamicFrame()

  val ruleset = """
    Rules = [
       IsComplete "att2" where "att1 = 'a'"        
    ]
  """

  val dq_results = EvaluateDataQuality.processRows(
    frame=datasource,
    ruleset=ruleset,
    additionalOptions=JsonOptions("""
        {
          "rowLevelConfiguration.filteredRowLabel":"SKIPPED"
        }
      """
    )
  )
}

请参阅以下规则和数据框作为示例：

IsComplete att2 where "att1 = 'a'"

动态规则

现在，您可以编写动态规则，将规则生成的当前指标与其历史值进行比较。这些历史比较通过在表达式中使用 last() 运算符启用。例如，当前运行中的行数大于同一数据集之前最近一次的行数时，RowCount > last() 规则就会成功。last() 采用一个可选的自然数参数，描述要考虑的先前指标数量；k >= 1 将引用的最后一个 k 指标 last(k)。

要形成有效的表达式，请使用 last(k)，其中 k > 1 需要聚合函数以将多个历史结果简化为单个数字。例如，RowCount > avg(last(5)) 将检查当前数据集的行数是否严格大于同一数据集最后五行计数的平均值。RowCount > last(5) 将产生错误，因为无法将当前数据集的行数与列表进行有意义的比较。

支持的聚合函数：

示例表达式

ColumnCorrelation

DistinctValuesCount

大多数具有数字条件或阈值的规则类型都支持动态规则；请参阅提供的分析器和规则表，以确定您的规则类型是否支持动态规则。

从动态规则中排除统计信息

有时，您需要从动态规则计算中排除数据统计信息。假设您加载了历史数据，但不希望其影响您的平均值。为此，请在 AWS Glue ETL 中打开作业并选择数据质量选项卡，然后依次选择统计信息和要排除的统计信息。您将能够看到趋势图和统计表。选择要排除的值，然后选择排除统计信息。排除的统计信息将不会包含在动态规则计算中。

分析器

DQDL 规则使用名为分析器的功能收集有关您的数据的信息。规则的布尔表达式使用此信息确定规则应该成功还是失败。例如，RowCount 规则 RowCount > 5 将使用行计数分析器发现数据集中的行数，并将其与表达式 > 5 进行比较，以检查当前数据集中是否存在超过五行。

有时，我们建议创建分析器（而不是编写规则），然后让其生成可用于检测异常的统计信息。对于此类实例，您可以创建分析器。分析器在以下方面与规则不同。

分析器无需规则即可独立存在，因此您可以快速配置分析器并逐步构建数据质量规则。

可以在规则集的 Analyzers 块中输入某些规则类型，以运行分析器所需的规则并收集信息，而无需对任何条件进行检查。有些分析器与规则无关，只能在 Analyzers 块中输入。下表显示每个项目是作为规则还是作为独立分析器支持，以及每种规则类型的其他详细信息。

带分析器的示例规则集

以下规则集使用：

可以在作业运行的“数据质量”选项卡中，查看分析器指标结果。

Rules = [
   RowCount > avg(last(3))
]
Analyzers = [
   DistinctValuesCount "Name",
   ColumnLength "Name"
]     
        

AWS Glue 数据质量自动监测功能支持以下分析器。

评论

您可以使用“#”字符在 DQDL 文档中添加注释。DQDL 会忽略在“#”字符之后以及直到行尾的任何内容。

Rules = [
    # More items should generally mean a higher price, so correlation should be positive
    ColumnCorrelation "price" "num_items" > 0
]