FileSize - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

FileSize

Le type de règle FileSize vous permet de vous assurer que les fichiers répondent à certains critères de taille. Cela s’avère utile dans les cas d’utilisation suivants :

  1. Assurez-vous que les producteurs n’envoient pas de fichiers vides ou nettement plus petits en traitement.

  2. Assurez-vous que vos compartiments cible ne contiennent pas de fichiers plus petits, ce qui pourrait entraîner des problèmes de performances.

FileSize rassemble les métriques suivantes :

  1. Compliance : renvoie le pourcentage de fichiers qui atteignent le seuil de règle que vous avez établi

  2. File Count : nombre de fichiers analysés par la règle

  3. Taille minimale du fichier en octets

  4. Taille maximale du fichier en octets 

Dataset.*.FileSize.Compliance: 1.00, 
Dataset.*.FileCount: 8.00, 
Dataset.*.MaximumFileSize: 327413121.00, 
Dataset.*.MinimumFileSize: 204558920.00

La détection des anomalies n’est pas prise en charge pour ces métriques.

Valider la taille des fichiers

Cette règle est acceptée lorsque l’élément file.dat est supérieur à 2 Mo. 

FileSize "s3://amzn-s3-demo-bucket/file.dat" > 2 MB

Les unités prises en charge sont les suivantes : o (octets), Mo (mégaoctets), Go (gigaoctets) et To (téraoctets).

Valider la taille des fichiers dans les dossiers 


FileSize "s3://bucket/" > 5 B
FileSize "s3://bucket/" < 2 GB

Cette règle sera acceptée si 70 % des fichiers dans s3://amzn-s3-demo-bucket ont une taille comprise entre 2 Go et 1 To. 

FileSize "s3://amzn-s3-demo-bucket/" between 2 GB and 1 TB  with threshold > 0.7

Déduction des noms de fichiers directement à partir de trames de données

Il n’est pas toujours nécessaire de fournir un chemin d’accès au fichier. Par exemple, lorsque vous créez la règle dans le catalogue de données, il peut être difficile de trouver les dossiers utilisés par les tables du catalogue. La Qualité des données d’AWS Glue peut trouver les dossiers ou fichiers spécifiques utilisés pour renseigner votre trame de données.

Note

Cette fonctionnalité ne fonctionne que lorsque les fichiers sont correctement lus dans DynamicFrame ou DataFrame. 

FileSize < 10 MB with threshold > 0.7

Balises de règles facultatives basées sur des fichiers :

Les balises vous permettent de contrôler le comportement des règles.

recentFiles

Cette balise limite le nombre de fichiers traités en conservant le fichier le plus récent en premier. 

FileSize "s3://amzn-s3-demo-bucket/" > 5 B with recentFiles = 1

matchFileName

Cette balise garantit que les fichiers ne comportent pas de noms en double. Le comportement par défaut est false. 

FileSize "s3://amzn-s3-demo-bucket/" > 5 B with matchFileName = "true"

Voici quelques considérations à prendre en compte :

  1. Dans AWS Glue ETL, vous devez disposer d’Evaluate DataQuality Transform immédiatement après la transformation d’Amazon S3 ou du catalogue de données.

  2. Cette règle ne fonctionnera pas dans AWS Glue Interactive Sessions.