View a markdown version of this page

Referensi tipe aturan DQDL - AWS Lem

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Referensi tipe aturan DQDL

Bagian ini menyediakan referensi untuk setiap jenis aturan yang didukung AWS Glue Data Quality.

catatan

  • DQDL saat ini tidak mendukung data kolom bersarang atau tipe daftar.

  • Nilai tanda kurung pada tabel di bawah ini akan diganti dengan informasi yang diberikan dalam argumen aturan.

  • Aturan biasanya memerlukan argumen tambahan untuk ekspresi.

Tipe aturan Deskripsi Argumen Metrik yang Dilaporkan Didukung sebagai aturan? Didukung sebagai Analyzer? Mengembalikan Hasil tingkat baris? Dukungan aturan dinamis? Menghasilkan Pengamatan Mendukung Sintaks Klausul Where?
AggregateMatch Memeriksa apakah dua kumpulan data cocok dengan membandingkan metrik ringkasan seperti jumlah total penjualan. Berguna bagi lembaga keuangan untuk membandingkan jika semua data dicerna dari sistem sumber. Satu atau lebih agregasi

Ketika nama kolom agregasi pertama dan kedua cocok:

Column.[Column].AggregateMatch

Ketika nama kolom agregasi pertama dan kedua berbeda:

Column.[Column1,Column2].AggregateMatch

 Ya Tidak Tidak Tidak Tidak Tidak
AllStatistics Penganalisis mandiri untuk mengumpulkan beberapa metrik untuk kolom yang disediakan dalam kumpulan data. Nama kolom tunggal

Untuk kolom dari semua jenis:

Dataset.*.RowCount

Column.[Column].Completeness

Column.[Column].Uniqueness

Metrik tambahan untuk kolom bernilai string:

ColumnLength metrics

Metrik tambahan untuk kolom bernilai numerik:

ColumnValues metrics

 Tidak Ya Tidak Tidak Tidak Tidak
ColumnCorrelation Memeriksa seberapa baik dua kolom berkorelasi. Tepat dua nama kolom Multicolumn.[Column1,Column2].ColumnCorrelation Ya Ya Tidak Ya Tidak Ya
ColumnCount Memeriksa apakah ada kolom yang dijatuhkan. Tidak ada Dataset.*.ColumnCount Ya Ya Tidak Ya Ya Tidak
ColumnDataType Memeriksa apakah kolom sesuai dengan tipe data. Tepat satu nama kolom Column.[Column].ColumnDataType.Compliance Ya Tidak Tidak Ya, dalam ekspresi ambang batas tingkat baris Tidak Ya
ColumnExists Memeriksa apakah kolom ada dalam dataset. Hal ini memungkinkan pelanggan membangun platform data layanan mandiri untuk memastikan kolom tertentu tersedia. Tepat satu nama kolom N/A Ya Tidak Tidak Tidak Tidak Tidak
ColumnLength Memeriksa apakah panjang data konsisten. Tepat satu nama kolom

Column.[Column].MaximumLength

Column.[Column].MinimumLength

Metrik tambahan saat ambang batas tingkat baris disediakan:

Column.[Column].ColumnValues.Compliance

 Ya Ya Ya, bila ambang batas tingkat baris disediakan Tidak Ya. Hanya menghasilkan pengamatan dengan menganalisis panjang Minimum dan Maksimum Ya
ColumnNamesMatchPattern Memeriksa apakah nama kolom cocok dengan pola yang ditentukan. Berguna bagi tim tata kelola untuk menegakkan konsistensi nama kolom. Sebuah regex untuk nama kolom Dataset.*.ColumnNamesPatternMatchRatio Ya Tidak Tidak Tidak Tidak Tidak
ColumnValues Memeriksa apakah data konsisten per nilai yang ditentukan. Aturan ini mendukung ekspresi reguler. Tepat satu nama kolom

Column.[Column].Maximum

Column.[Column].Minimum

Metrik tambahan saat ambang batas tingkat baris disediakan:

Column.[Column].ColumnValues.Compliance

 Ya Ya Ya, bila ambang batas tingkat baris disediakan Tidak Ya. Hanya menghasilkan pengamatan dengan menganalisis nilai Minimum dan Maksimum Ya
Kelengkapan Memeriksa apakah ada kosong atau NULL dalam data. Tepat satu nama kolom

Column.[Column].Completeness

 Ya Ya Ya Ya Ya Ya
CustomSql Pelanggan dapat menerapkan hampir semua jenis pemeriksaan kualitas data di SQL.

Sebuah pernyataan SQL

(Opsional) Ambang batas tingkat baris

Dataset.*.CustomSQL

Metrik tambahan saat ambang batas tingkat baris disediakan:

Dataset.*.CustomSQL.Compliance

 Ya Tidak Ya, bila ambang batas tingkat baris disediakan Ya Tidak Tidak
DataFreshness Memeriksa apakah data masih segar. Tepat satu nama kolom Column.[Column].DataFreshness.Compliance Ya Tidak Ya Tidak Tidak Ya
DatasetMatch Membandingkan dua kumpulan data dan mengidentifikasi apakah mereka dalam sinkronisasi.

Nama kumpulan data referensi

Pemetaan kolom

(Opsional) Kolom untuk memeriksa kecocokan

 Dataset.[ReferenceDatasetAlias].DatasetMatch Ya Tidak Ya Ya Tidak Tidak
DistinctValuesCount Memeriksa nilai duplikat. Tepat satu nama kolom Column.[Column].DistinctValuesCount Ya Ya Ya Ya Ya Ya
Distribusi Menghitung distribusi frekuensi kolom. Untuk kolom numerik, menghasilkan histogram yang dibinasikan. Untuk kolom string dan tanggal, menghasilkan distribusi nilai yang diurutkan dalam urutan menurun berdasarkan frekuensi. Nama kolom tunggal, atau "AllColumns”. Opsional: with bins = <BIN_COUNT> Column.[Column].Distribution Tidak Ya Tidak Tidak Ya Tidak
DetectAnomalies Memeriksa anomali dalam metrik yang dilaporkan jenis aturan lain. Jenis aturan Metrik yang dilaporkan oleh argumen tipe aturan Ya Tidak Tidak Tidak Tidak Tidak
Entropi Memeriksa entropi data. Tepat satu nama kolom Column.[Column].Entropy Ya Ya Tidak Ya Tidak Ya
IsComplete Memeriksa apakah 100% data sudah lengkap. Tepat satu nama kolom Column.[Column].Completeness Ya Tidak Ya Tidak Tidak Ya
IsPrimaryKey Memeriksa apakah kolom adalah kunci utama (bukan NULL dan unik). Tepat satu nama kolom

Untuk kolom tunggal:

Column.[Column].Uniqueness

Untuk beberapa kolom:

Multicolumn.[CommaDelimitedColumns].Uniqueness

 Ya Tidak Ya Tidak Tidak Ya
IsUnique Memeriksa apakah 100% data unik. Tepat satu nama kolom Column.[Column].Uniqueness Ya Tidak Ya Tidak Tidak Ya
Berarti Memeriksa apakah rata-rata cocok dengan ambang batas yang ditetapkan. Tepat satu nama kolom Column.[Column].Mean Ya Ya Ya Ya Tidak Ya
ReferentialIntegrity Memeriksa apakah dua kumpulan data memiliki integritas referensial.

Satu atau lebih nama kolom dari dataset

Satu atau lebih nama kolom dari kumpulan data referensi

 Column.[ReferenceDatasetAlias].ReferentialIntegrity Ya Tidak Ya Ya Tidak Tidak
RowCount Memeriksa apakah jumlah catatan cocok dengan ambang batas. Tidak ada Dataset.*.RowCount Ya Ya Tidak Ya Ya Ya
RowCountMatch Memeriksa apakah jumlah catatan antara dua kumpulan data cocok. Alias kumpulan data referensi Dataset.[ReferenceDatasetAlias].RowCountMatch Ya Tidak Tidak Ya Tidak Tidak
StandardDeviation Memeriksa apakah standar deviasi cocok dengan ambang batas. Tepat satu nama kolom Column.[Column].StandardDeviation Ya Ya Ya Ya Tidak Ya
SchemaMatch Memeriksa apakah skema antara dua kumpulan data cocok. Alias dataset referensi Dataset.[ReferenceDatasetAlias].SchemaMatch Ya Tidak Tidak Ya Tidak Tidak
Jumlah Memeriksa apakah jumlah cocok dengan ambang batas yang ditetapkan. Tepat satu nama kolom Column.[Column].Sum Ya Ya Tidak Ya Tidak Ya
Keunikan Memeriksa apakah keunikan dataset cocok dengan ambang batas. Tepat satu nama kolom Column.[Column].Uniqueness Ya Ya Ya Ya Tidak Ya
UniqueValueRatio Memeriksa apakah rasio nilai unik cocok dengan ambang batas. Tepat satu nama kolom Column.[Column].UniqueValueRatio Ya Ya Ya Ya Tidak Ya
FileFreshness Memeriksa apakah file di Amazon S3 masih segar. Jalur File atau Folder dan ambang batas.

Dataset.*.FileFreshness.Compliance

Dataset.*.FileCount

 Ya Tidak Tidak Tidak Tidak Tidak
FileMatch Memeriksa apakah isi file cocok dengan checksum atau dengan file lain. Aturan ini menggunakan checksum untuk memvalidasi jika dua file sama. File Sumber atau Jalur Folder dan File Target atau jalur folder. Tidak ada statistik yang dihasilkan. Ya Tidak Tidak Tidak Tidak Tidak
FileSize Memeriksa apakah ukuran file cocok dengan kondisi tertentu. Jalur dan ambang batas file atau folder.

Dataset.*.FileSize.Compliance

Dataset.*.FileCount

Dataset.*.MaximumFileSize

Dataset.*.MinimumFileSize

 Ya Tidak Tidak Tidak Tidak Tidak
FileUniqueness Memeriksa apakah file unik menggunakan checksum. Jalur dan ambang batas file atau folder.

Dataset.*.FileUniquenessRatio

Dataset.*.FileCount

 Ya Tidak Tidak Tidak Tidak Tidak
Topik