FileUniqueness

FileUniqueness permite asegurarse de que no haya archivos duplicados en los datos que ha recibido de sus productores de datos.

Recopila las siguientes estadísticas de datos:

Dataset.*.FileUniquenessRatio: 1.00, Dataset.*.FileCount: 8.00

Cómo encontrar archivos duplicados en una carpeta:

FileUniqueness "s3://bucket/" > 0.5
FileUniqueness "s3://bucket/folder/" = 1

Cómo inferir los nombres de las carpetas directamente de los marcos de datos para detectar duplicados:

No siempre tiene que proporcionar una ruta de archivo. Por ejemplo, al crear la regla en el catálogo de datos de AWS Glue, puede resultar difícil encontrar qué carpetas usan las tablas del catálogo. AWS Calidad de datos de Glue puede encontrar las carpetas o archivos específicos que se usan para rellenar su marco de datos.

FileUniqueness > 0.5

Etiquetas de reglas opcionales basadas en archivos:

Las etiquetas permiten controlar el comportamiento de las reglas.

recentFiles

Esta etiqueta limita el número de archivos procesados dejando primero el archivo más reciente.

FileUniqueness "s3://amzn-s3-demo-bucket/" > 0.5 with recentFiles = 1

uriRegex

Esta etiqueta filtra los archivos mediante la aplicación de un patrón de expresión regular a la ruta del archivo. Solo se procesan los archivos cuyas rutas coinciden con el patrón. También puede usar una anticipación negativa para excluir los archivos que coinciden con un patrón.

# Match only files with a .csv extension
FileUniqueness "s3://bucket/" > 0.5 with uriRegex = "\.csv$"
# Exclude files ending in .tmp using a negative lookahead
FileUniqueness "s3://bucket/" > 0.5 with uriRegex = "(?!.*\.tmp$).*"

filterOrder

Cuando utiliza varias etiquetas de filtro, como recentFiles y uriRegex, en conjunto, la etiqueta filterOrder controla el orden en que se aplican. El orden predeterminado es primero recentFiles y luego uriRegex.

FileUniqueness "s3://bucket/" > 0.5 with recentFiles = 5 with uriRegex = "\.csv$" with filterOrder = ["uriRegex","recentFiles"]

matchFileName

Esta etiqueta garantiza que los archivos no tengan nombres duplicados. El comportamiento predeterminado es false.

FileUniqueness "s3://amzn-s3-demo-bucket/" > 0.5 with matchFileName = "true"

Existen algunas consideraciones: