FileUniqueness

檔案唯一性可讓您確保您從資料生產者收到的資料中沒有重複的檔案。

其會收集下列資料統計資料：

Dataset.*.FileUniquenessRatio: 1.00, Dataset.*.FileCount: 8.00

尋找資料夾中的重複檔案：

FileUniqueness "s3://bucket/" > 0.5
FileUniqueness "s3://bucket/folder/" = 1

直接從資料框推斷資料夾名稱以偵測重複項目：

您不一定必須提供檔案路徑。例如，當您在 AWS Glue Data Catalog 中編寫規則時，可能很難找到目錄資料表正在使用的資料夾。 AWS Glue Data Quality 可以找到用來填入資料框架的特定資料夾或檔案。

FileUniqueness > 0.5

選用的以檔案為基礎的規則標籤：

標籤可讓您控制規則行為。

recentFiles

此標籤會先保留最新的檔案，以限制處理的檔案數目。

FileUniqueness "s3://amzn-s3-demo-bucket/" > 0.5 with recentFiles = 1

uriRegex

此標籤透過將 regex 模式套用至檔案路徑來篩選檔案。只會處理路徑符合模式的檔案。您也可以使用負 lookahead 來排除符合模式的檔案。

# Match only files with a .csv extension
FileUniqueness "s3://bucket/" > 0.5 with uriRegex = "\.csv$"
# Exclude files ending in .tmp using a negative lookahead
FileUniqueness "s3://bucket/" > 0.5 with uriRegex = "(?!.*\.tmp$).*"

filterOrder

當您同時使用多個篩選條件標籤，例如 recentFiles和 uriRegex 時，該filterOrder標籤會控制套用它們的順序。預設順序為 recentFiles ，然後是 uriRegex。

FileUniqueness "s3://bucket/" > 0.5 with recentFiles = 5 with uriRegex = "\.csv$" with filterOrder = ["uriRegex","recentFiles"]

matchFileName

此標籤可確保檔案沒有重複的名稱。預設行為為 false。

FileUniqueness "s3://amzn-s3-demo-bucket/" > 0.5 with matchFileName = "true"

有幾個考量：