完整度 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

完整度

根據指定運算式檢查欄中完整 (非空) 值的百分比。

語法

Completeness <COL_NAME> <EXPRESSION>
  • COL_NAME – 您要評估資料品質規則的欄名稱。

    支援的欄類型:任何欄類型

  • EXPRESSION – 針對規則類型回應執行的運算式,以產生布林值。如需詳細資訊,請參閱表達式

範例:空值百分比

下列範例規則會檢查欄中 95% 以上的值是否已完成。

Completeness "First_Name" > 0.95 Completeness "First_Name" > 0.95 where "weightinkgs > 10"

動態規則範例

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

Null 行為

CSV 資料格式注意事項:CSV 資料欄上的空白資料列可以顯示多種行為。

  • 如果資料欄為 String類型,空白資料列將辨識為空字串,且不會失敗Completeness規則。

  • 如果資料欄屬於其他資料類型,例如 Int,則空白資料列會辨識為 ,NULL而且 將失敗Completeness規則。