StandardDeviation - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

StandardDeviation

Memeriksa standar deviasi dari semua nilai dalam kolom terhadap ekspresi yang diberikan.

Sintaksis

StandardDeviation <COL_NAME> <EXPRESSION>

  • COL_NAME — Nama kolom yang ingin Anda evaluasi terhadap aturan kualitas data.

    Jenis kolom yang didukung: Byte, Desimal, Ganda, Float, Integer, Panjang, Pendek

  • EXPRESSION — Ekspresi yang dijalankan terhadap respons tipe aturan untuk menghasilkan nilai Boolean. Untuk informasi selengkapnya, lihat Ekspresi.

Contoh: Standar deviasi

Contoh aturan berikut memeriksa apakah standar deviasi nilai dalam kolom bernama colA kurang dari nilai yang ditentukan.

StandardDeviation "Star_Rating" < 1.5
StandardDeviation "Salary" < 3500 where "Customer_ID < 10"

Contoh aturan dinamis

  • StandardDeviation "colA" > avg(last(10) + 0.1

  • StandardDeviation "colA" between min(last(10)) - 1 and max(last(10)) + 1

Perilaku nol

StandardDeviationAturan akan mengabaikan baris dengan NULL nilai dalam perhitungan standar deviasi. Misalnya: 

+---+-----------+-----------+
|id |units1     |units2     |
+---+-----------+-----------+
|100|0          |0          |
|101|null       |0          |
|102|20         |20         |
|103|null       |0          |
|104|40         |40         |
+---+-----------+-----------+

Standar deviasi kolom tidak units1 akan mempertimbangkan baris 101 dan 103 dan hasilnya menjadi 16,33. Standar deviasi untuk kolom units2 akan menghasilkan 16.