Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Membuat ruleset dengan aturan kualitas data
Dalam prosedur berikut, Anda dapat menemukan contoh membuat kumpulan aturan dan menerapkannya ke kumpulan data. Kumpulan aturan adalah seperangkat aturan yang membandingkan metrik data yang berbeda dengan nilai yang diharapkan. Anda kemudian dapat menggunakan kumpulan aturan ini dalam pekerjaan profil untuk memvalidasi aturan kualitas data yang disertakan.
Untuk membuat contoh ruleset dengan aturan kualitas data
Masuk ke Konsol Manajemen AWS dan buka DataBrew konsol di https://console.aws.amazon.com/databrew/
. -
Pilih ATURAN DQ dari panel navigasi, lalu pilih Buat kumpulan aturan kualitas data.
-
Masukkan nama untuk kumpulan aturan Anda. Secara opsional, masukkan deskripsi untuk kumpulan aturan Anda.
Di bawah Kumpulan data terkait, pilih kumpulan data untuk dikaitkan dengan kumpulan aturan.
Setelah memilih kumpulan data, Anda dapat melihat panel pratinjau Dataset di sebelah kanan.
-
Gunakan pratinjau di panel pratinjau Dataset untuk menjelajahi nilai dan skema untuk kumpulan data saat Anda menentukan aturan kualitas data yang akan dibuat. Pratinjau dapat memberi Anda wawasan tentang potensi masalah yang mungkin Anda miliki dengan data.
Beberapa sumber data, seperti database, tidak mendukung pratinjau data. Dalam hal ini, Anda dapat menjalankan pekerjaan profil tanpa memvalidasi aturan kualitas data terlebih dahulu. Kemudian Anda bisa mendapatkan informasi tentang skema data dan distribusi nilai dengan menggunakan profil data.
-
Periksa tab Rekomendasi, yang mencantumkan beberapa saran aturan yang dapat Anda gunakan saat membuat kumpulan aturan Anda. Anda dapat memilih semua, beberapa, atau tidak ada rekomendasi.
Setelah memilih rekomendasi yang relevan, pilih Tambahkan ke set aturan.
Ini akan menambah aturan ke set aturan Anda. Periksa dan modifikasi parameter jika diperlukan. Perhatikan bahwa hanya kolom tipe sederhana seperti string, angka, dan boolean yang dapat digunakan dalam aturan kualitas data.
Pilih Tambahkan aturan lain untuk menambahkan aturan yang tidak tercakup oleh rekomendasi. Anda dapat mengubah nama aturan agar lebih mudah menafsirkan hasil validasi nanti.
Gunakan cakupan pemeriksaan kualitas data untuk memilih apakah kolom individu akan dipilih per setiap pemeriksaan dalam aturan ini atau apakah mereka harus diterapkan ke sekelompok kolom yang Anda pilih. Misalnya, jika kumpulan data Anda memiliki beberapa kolom numerik yang seharusnya memiliki nilai antara 0 dan 100, Anda dapat menentukan aturan satu kali dan memilih semua kolom ini untuk diperiksa oleh aturan ini.
Jika aturan Anda akan memiliki lebih dari satu pemeriksaan, maka dalam dropdown kriteria keberhasilan Aturan, pilih apakah semua cek harus dipenuhi atau mana yang memenuhi kriteria.
Pilih pemeriksaan yang akan dilakukan untuk memverifikasi aturan ini di dropdown pemeriksaan kualitas data. Untuk informasi selengkapnya tentang pemeriksaan yang tersedia, lihatCek yang tersedia.
Jika Anda memilih Individual cek untuk setiap kolom dalam lingkup pemeriksaan kualitas data, pilih kolom. Pilih atau ketik nama kolom untuk pemeriksaan ini.
Pilih parameter tergantung pada cek. Beberapa kondisi hanya menerima nilai kustom yang disediakan dan beberapa juga mendukung referensi ke kolom lain.
Jika Anda memilih cek untuk nilai Kolom seperti Mengandung kondisi untuk nilai string, maka Anda dapat menentukan ambang batas “lulus”. Misalnya, jika Anda ingin setidaknya 95 persen nilai memenuhi kondisi, Anda harus memilih Lebih Besar dari sama dengan Kondisi ambang batas, masukkan 95 sebagai Ambang dan biarkan “% (persen) baris” di dropdown berikutnya di bagian Threshold. Atau jika Anda ingin tidak lebih dari 10 baris di mana nilai hilang kondisi benar, maka Anda dapat memilih Kurang dari sama dengan sebagai Kondisi, masukkan 10 untuk Threshold dan pilih baris di dropdown berikutnya. Harap dicatat bahwa Anda mungkin mendapatkan hasil yang berbeda jika Anda menggunakan sampel dengan ukuran berbeda selama validasi.
Tambahkan lebih banyak aturan jika diperlukan.
Pilih Buat set aturan.
