FileFreshness

FileFreshness memastikan file data Anda segar berdasarkan kondisi yang Anda berikan. Ini menggunakan waktu modifikasi terakhir file Anda untuk memastikan bahwa file data atau seluruh folder. up-to-date

Aturan ini mengumpulkan dua metrik:

{"Dataset.*.FileFreshness.Compliance":1,"Dataset.*.FileCount":1} 

Deteksi anomali tidak mempertimbangkan metrik ini.

Memeriksa kesegaran file

Aturan berikut memastikan bahwa tiket.parket dibuat dalam 24 jam terakhir.

FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/tickets.parquet" > (now() - 24 hours)

Memeriksa kesegaran folder

Aturan berikut berlalu jika semua file dalam folder dibuat atau dimodifikasi dalam 24 jam terakhir.

FileFreshness "s3://bucket/" >= (now() -1 days)
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" >= (now() - 24 hours)

Memeriksa kesegaran folder atau file dengan ambang batas

Aturan berikut berlalu jika 10% dari file dalam folder “tiket “dibuat atau dimodifikasi dalam 10 hari terakhir.

FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" < (now() - 10 days) with threshold > 0.1

Memeriksa file atau folder dengan tanggal tertentu

Anda dapat memeriksa kesegaran file untuk hari-hari tertentu.

FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" > "2020-01-01"
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between "2023-01-01" and "2024-01-01"

Memeriksa file atau folder dengan waktu

Anda dapat menggunakan FileFreshness untuk memastikan bahwa file telah tiba berdasarkan waktu-waktu tertentu.

FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between now() and (now() - 45 minutes)
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between "9:30 AM" and "9:30 PM"
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" > (now() - 10 minutes)
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" > now()
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between (now() - 2 hours) and (now() + 15 minutes)
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between (now() - 3 days) and (now() + 15 minutes)
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between "2001-02-07" and (now() + 15 minutes)
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" > "21:45""
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" > "2024-01-01"
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between "02:30" and "04:30"
FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" between "9:30 AM" and "22:15"

Pertimbangan utama:

FileFreshness yang merupakan karya berbasis waktu sebagai berikut:

FileFreshness "s3://amzn-s3-demo-bucket/artifacts/file/tickets/" > "21:45"

Tag Aturan Berbasis File Opsional:

Tag memungkinkan Anda mengontrol perilaku aturan.

RecentFiles

Tag ini membatasi jumlah file yang diproses dengan menyimpan file terbaru terlebih dahulu.

FileFreshness "s3://amzn-s3-demo-bucket/" between (now() - 100 minutes) and (now() + 10 minutes) with recentFiles = 1

UriRegex

Tag ini memfilter file dengan menerapkan pola regex ke jalur file. Hanya file yang jalurnya cocok dengan pola yang diproses. Anda juga dapat menggunakan lookahead negatif untuk mengecualikan file yang cocok dengan pola.

# Match only files with a .csv extension
FileFreshness "s3://amzn-s3-demo-bucket/" > (now() - 24 hours) with uriRegex = "\.csv$"
# Match Parquet files that contain "orders_" in the path
FileFreshness "s3://amzn-s3-demo-bucket/" > (now() - 24 hours) with uriRegex = ".*orders_.*\.parquet"
# Exclude files ending in .tmp using a negative lookahead
FileFreshness "s3://amzn-s3-demo-bucket/" > (now() - 24 hours) with uriRegex = "(?!.*\.tmp$).*"

FilterOrder

Bila Anda menggunakan beberapa tag filter seperti recentFiles dan uriRegex bersama-sama, filterOrder tag mengontrol urutan penerapannya. Urutan default adalah yang recentFiles pertama, laluuriRegex.

FileFreshness "s3://amzn-s3-demo-bucket/" > (now() - 24 hours) with recentFiles = 1 with uriRegex = "inventory_" with filterOrder = ["uriRegex","recentFiles"]

Dalam contoh di atas, uriRegex filter diterapkan terlebih dahulu untuk memilih hanya file yang cocok dengan “inventaris_”, dan kemudian recentFiles = 1 mengambil file terbaru dari set yang difilter itu. TanpafilterOrder, perilaku default akan mengambil satu file terbaru terlebih dahulu dan kemudian menerapkan regex, yang dapat mengakibatkan tidak ada file yang cocok jika file terbaru tidak cocok dengan polanya.

FailFast

Saat disetel ke"true", aturan segera mengembalikan kegagalan pada file pertama yang gagal dalam kondisi kesegaran, alih-alih mengevaluasi semua file dan menghitung rasio kepatuhan.

FileFreshness "s3://amzn-s3-demo-bucket/" > (now() - 24 hours) with failFast = "true"

Zona Waktu

Penggantian zona waktu yang diterima, lihat Zona Waktu yang Diizinkan untuk zona waktu yang didukung.

FileFreshness "s3://path/" > "21:45" with timeZone = "America/New_York"

FileFreshness "s3://path/" > "21:45" with timeZone = "America/Chicago"

FileFreshness "s3://path/" > "21:45" with timeZone = "Europe/Paris"

FileFreshness "s3://path/" > "21:45" with timeZone = "Asia/Shanghai"

FileFreshness "s3://path/" > "21:45" with timeZone = "Australia/Darwin"

Menyimpulkan nama file langsung dari bingkai data

Anda tidak selalu harus menyediakan jalur file. Misalnya, ketika Anda menulis aturan di Katalog Data AWS Glue, mungkin sulit untuk menemukan folder mana yang digunakan tabel katalog. AWS Glue Data Quality dapat menemukan folder atau file tertentu yang digunakan untuk mengisi kerangka data Anda dan dapat mendeteksi apakah masih segar.

FileFreshness > (now() - 24 hours)

Aturan ini akan menemukan jalur folder atau file yang digunakan untuk mengisi frame dinamis atau bingkai data. Ini berfungsi untuk jalur Amazon S3 atau tabel Katalog Data AWS Glue berbasis Amazon S3. Ada beberapa pertimbangan:

Jika Anda mencoba ini di kedua kasus, atau ketika AWS Glue tidak dapat menemukan file, AWS Glue akan memunculkan kesalahan berikut: “Unable to parse file path from DataFrame”