Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memvalidasi kualitas data di AWS Glue DataBrew

Untuk memastikan kualitas kumpulan data Anda, Anda dapat menentukan daftar aturan kualitas data dalam kumpulan aturan. Kumpulan aturan adalah seperangkat aturan yang membandingkan metrik data yang berbeda dengan nilai yang diharapkan. Jika salah satu kriteria aturan tidak terpenuhi, kumpulan aturan secara keseluruhan gagal validasi. Anda kemudian dapat memeriksa hasil individu untuk setiap aturan. Untuk aturan apa pun yang menyebabkan kegagalan validasi, Anda dapat melakukan koreksi yang diperlukan dan memvalidasi ulang.

Contoh aturan meliputi:

Anda dapat menentukan setiap aturan untuk kolom individual atau menerapkannya secara independen ke beberapa kolom yang dipilih, misalnya:

Aturan dapat terdiri dari beberapa pemeriksaan sederhana. Anda dapat menentukan apakah semuanya harus benar atau apa pun, misalnya:

Anda dapat memverifikasi aturan terhadap nilai agregat sepertimax,min, atau number of duplicate values di mana hanya ada satu nilai yang dibandingkan, atau nilai nonagregat di setiap baris kolom. Dalam kasus terakhir, Anda juga dapat menentukan ambang batas “lewat” sepertivalue in columnA > value in columnB for at least 95% of rows.

Seperti informasi profil, Anda dapat menentukan aturan kualitas data tingkat kolom hanya untuk kolom tipe sederhana, seperti string dan angka. Anda tidak dapat menentukan aturan kualitas data untuk kolom tipe kompleks, seperti array atau struktur. Untuk detail selengkapnya tentang bekerja dengan informasi profil, lihatMembuat dan bekerja dengan AWS Glue DataBrew lowongan kerja profil.

Memvalidasi aturan kualitas data

Setelah kumpulan aturan ditentukan, Anda dapat menambahkannya ke pekerjaan profil untuk validasi. Anda dapat menentukan lebih dari satu kumpulan aturan untuk kumpulan data.

Misalnya, satu set aturan mungkin berisi aturan dengan kriteria minimal yang dapat diterima. Kegagalan validasi untuk kumpulan aturan itu mungkin berarti bahwa data tidak dapat diterima untuk digunakan lebih lanjut. Contohnya adalah nilai yang hilang di kolom kunci dari kumpulan data yang digunakan untuk pelatihan pembelajaran mesin. Anda dapat menggunakan kumpulan aturan kedua dengan aturan yang lebih ketat untuk memverifikasi apakah kumpulan data memiliki kualitas yang baik sehingga tidak diperlukan pembersihan.

Anda dapat menerapkan satu atau beberapa kumpulan aturan yang ditentukan untuk kumpulan data tertentu dalam konfigurasi pekerjaan profil. Ketika pekerjaan profil berjalan, itu menghasilkan laporan validasi selain profil data. Laporan validasi tersedia di lokasi yang sama dengan data profil Anda. Seperti informasi profil, Anda dapat menjelajahi hasilnya di DataBrew konsol. Dalam tampilan Detail kumpulan data, pilih tab Kualitas Data untuk melihat hasilnya. Untuk detail selengkapnya tentang bekerja dengan informasi profil, lihatMembuat dan bekerja dengan AWS Glue DataBrew lowongan kerja profil.

Bertindak atas hasil validasi

Saat pekerjaan DataBrew profil selesai, DataBrew kirimkan CloudWatch acara Amazon dengan detail pekerjaan yang dijalankan. Jika Anda juga mengonfigurasi pekerjaan Anda untuk memvalidasi aturan kualitas data, DataBrew mengirimkan peristiwa untuk setiap kumpulan aturan yang divalidasi. Acara ini berisi hasilnya (SUCCEEDED,FAILED, atauERROR) dan tautan ke laporan validasi kualitas data terperinci. Anda kemudian dapat mengotomatiskan tindakan lebih lanjut dengan menjalankan tindakan berikutnya tergantung pada status validasi. Untuk informasi selengkapnya tentang menghubungkan peristiwa ke tindakan target, seperti notifikasi Amazon SNS, pemanggilan AWS Lambda fungsi, dan lainnya, lihat Memulai Amazon. EventBridge

Berikut ini adalah contoh peristiwa Hasil DataBrew Validasi:

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

Anda dapat menggunakan atribut peristiwa sepertidetail-type, source dan properti bersarang dari detail atribut untuk membuat pola peristiwa di Amazon Eventbridge. Misalnya pola acara untuk mencocokkan semua validasi yang gagal dari DataBrew pekerjaan apa pun akan terlihat seperti ini:

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

Untuk contoh membuat kumpulan aturan dan memvalidasi aturannya, lihat. Membuat ruleset dengan aturan kualitas data Untuk informasi selengkapnya tentang bekerja dengan CloudWatch acara di DataBrew, lihat Mengotomatisasi DataBrew dengan Acara CloudWatch

Memeriksa hasil validasi untuk dan memperbarui aturan kualitas data

Setelah pekerjaan profil Anda selesai, Anda dapat melihat hasil validasi untuk aturan kualitas data Anda dan jika diperlukan memperbarui aturan Anda.

Untuk aturan apa pun yang gagal validasi, Anda dapat melakukan koreksi yang diperlukan.