FileSize - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

FileSize

Il FileSize tipo di regola consente di garantire che i file soddisfino determinati criteri di dimensione dei file. Ciò è utile nei seguenti casi d'uso:

  1. Assicurarsi che i produttori non inviino file vuoti o di dimensioni notevolmente inferiori per l'elaborazione.

  2. Assicurarsi che i bucket di destinazione non contengano file di dimensioni ridotte che potrebbero causare problemi di prestazioni.

FileSize raccoglie le seguenti metriche:

  1. Conformità: restituisce la percentuale di file che soddisfano la soglia della regola stabilita

  2. Numero di file: numero dei file sottoposti a scansione dalla regola

  3. Dimensione minima dei file in byte

  4. Dimensione massima dei file in byte 

Dataset.*.FileSize.Compliance: 1.00, 
Dataset.*.FileCount: 8.00, 
Dataset.*.MaximumFileSize: 327413121.00, 
Dataset.*.MinimumFileSize: 204558920.00

Il rilevamento delle anomalie non è supportato per queste metriche.

Convalidare la dimensione dei file

Questa regola viene applicata quando file.dat è superiore a 2 MB. 

FileSize "s3://amzn-s3-demo-bucket/file.dat" > 2 MB

Le unità supportate includono B (byte), MB (megabyte), GB (giga byte) e TB (terra byte).

Convalidare la dimensione dei file nelle cartelle 


FileSize "s3://bucket/" > 5 B
FileSize "s3://bucket/" < 2 GB

Questa regola viene applicata se il 70% dei file in s3://amzn-s3-demo-bucket ha dimensioni comprese tra 2 GB e 1 TB. 

FileSize "s3://amzn-s3-demo-bucket/" between 2 GB and 1 TB  with threshold > 0.7

Dedurre i nomi dei file direttamente dai data frame

Non è sempre necessario fornire un percorso del file. Ad esempio, quando si crea la regola nel Data Catalog, può essere difficile individuare le cartelle utilizzate dalle tabelle del catalogo. AWS Glue Data Quality può trovare le cartelle o i file specifici utilizzati per popolare il tuo frame di dati.

Nota

Questa funzione funziona solo quando i file vengono letti correttamente in sala operatoria DynamicFrame . DataFrame 

FileSize < 10 MB with threshold > 0.7

Tag delle regole opzionali basati su file:

I tag permettono di controllare il comportamento delle regole.

recentFiles

Questo tag limita il numero di file elaborati mantenendo il file più recente per primo. 

FileSize "s3://amzn-s3-demo-bucket/" > 5 B with recentFiles = 1

matchFileName

Questo tag garantisce che i file non abbiano nomi duplicati. Il comportamento predefinito è false. 

FileSize "s3://amzn-s3-demo-bucket/" > 5 B with matchFileName = "true"

Occorre tenere presente alcuni aspetti:

  1. In AWS Glue ETL, devi avere Evaluate DataQuality Transform subito dopo la trasformazione di Amazon S3 o Data Catalog.

  2. Questa regola non funzionerà nelle sessioni interattive di AWS Glue.