Konfigurasi laju sampel Beri label data Anda Evaluasi model Anda Hasilkan metrik model

Konfigurasi pelatihan lanjutan

Konfigurasi laju sampel

Laju sampel menentukan seberapa sering pembacaan sensor direkam (misalnya, sekali setiap detik, atau sekali setiap menit). Pengaturan ini secara langsung berdampak pada perincian data pelatihan, dan memengaruhi kemampuan model untuk menangkap variasi jangka pendek dalam perilaku sensor.

Kunjungi Pengambilan sampel untuk data frekuensi tinggi dan konsistensi antara pelatihan dan inferensi untuk mempelajari praktik terbaik.

Konfigurasikan laju pengambilan sampel target

Anda dapat secara opsional menentukan a TargetSamplingRate dalam konfigurasi pelatihan Anda, untuk mengontrol frekuensi di mana data diambil sampelnya. Nilai yang didukung adalah:


PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H

Ini adalah format durasi ISO 8601, yang mewakili format waktu berikut:

PT1S= 1 detik
PT1M= 1 menit
PT1H= 1 jam

Pilih laju pengambilan sampel yang mencapai keseimbangan yang tepat antara resolusi data, dan efisiensi pelatihan. Tarif berikut tersedia:

Tingkat pengambilan sampel yang lebih tinggi (PT1S) menawarkan detail yang lebih halus tetapi dapat meningkatkan volume data dan waktu pelatihan.
Tingkat pengambilan sampel yang lebih rendah (PT10M,PT1H) mengurangi ukuran dan biaya data tetapi mungkin melewatkan anomali berumur pendek.

Menangani ketidaksejajaran stempel waktu

AWS IoT SiteWise secara otomatis mengkompensasi ketidaksejajaran stempel waktu di beberapa aliran data selama pelatihan. Ini memastikan perilaku model yang konsisten bahkan jika sinyal input tidak selaras sempurna dalam waktu.

Kunjungi Pengambilan sampel untuk data frekuensi tinggi dan konsistensi antara pelatihan dan inferensi untuk mempelajari praktik terbaik.

Aktifkan pengambilan sampel

Tambahkan kode berikut keanomaly-detection-training-payload.json.

Konfigurasikan pengambilan sampel TargetSamplingRate dengan menambahkan muatan tindakan pelatihan, dengan laju pengambilan sampel data. Nilai yang diizinkan adalah:PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H.


{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "targetSamplingRate": "TargetSamplingRate"
}

contoh dari konfigurasi laju sampel:


{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "targetSamplingRate": "PT1M"
}

Beri label data Anda

Saat memberi label pada data Anda, Anda harus menentukan interval waktu yang mewakili periode perilaku peralatan abnormal. Informasi pelabelan ini disediakan sebagai CSV file, di mana setiap baris menentukan rentang waktu di mana peralatan tidak beroperasi dengan benar.

Setiap baris berisi dua stempel waktu:

Waktu mulai, menunjukkan kapan perilaku abnormal diyakini telah dimulai.
Waktu akhir, mewakili kapan kegagalan atau masalah pertama kali diamati.

File CSV ini disimpan dalam bucket Amazon S3 dan digunakan selama pelatihan model untuk membantu sistem belajar dari contoh perilaku abnormal yang diketahui. Contoh berikut menunjukkan bagaimana data label Anda akan muncul sebagai .csv file. File tidak memiliki header.

contoh dari file CSV:


2024-06-21T00:00:00.000000,2024-06-21T12:00:00.000000
2024-07-11T00:00:00.000000,2024-07-11T12:00:00.000000
2024-07-31T00:00:00.000000,2024-07-31T12:00:00.000000

Baris 1 mewakili acara pemeliharaan pada 21 Juni 2024, dengan jendela 12 jam (dari 2024-06-21T00:00:00.000000Z ke2024-06-21T12:00:00.000000Z) AWS IoT SiteWise untuk mencari perilaku abnormal.

Baris 2 mewakili acara pemeliharaan pada 11 Juli 2024, dengan jendela 12 jam (dari 2024-07-11T00:00:00.000000Z ke2024-07-11T12:00:00.000000Z) AWS IoT SiteWise untuk mencari perilaku abnormal.

Baris 3 mewakili acara pemeliharaan pada 31 Juli 2024, dengan jendela 12 jam (dari 2024-07-31T00:00:00.000000Z ke2024-07-31T12:00:00.000000Z) AWS IoT SiteWise untuk mencari perilaku abnormal.

AWS IoT SiteWise menggunakan semua jendela waktu ini untuk melatih dan mengevaluasi model yang dapat mengidentifikasi perilaku abnormal di sekitar peristiwa ini. Perhatikan bahwa tidak semua peristiwa dapat dideteksi, dan hasilnya sangat bergantung pada kualitas dan karakteristik data yang mendasarinya.

Untuk detail tentang praktik terbaik untuk pengambilan sampel, lihatPraktik terbaik.

Langkah-langkah pelabelan data

Konfigurasikan bucket Amazon S3 Anda sesuai dengan prasyarat pelabelan pada prasyarat data Pelabelan.
Unggah file ke ember pelabelan Anda.
Tambahkan yang berikut ini keanomaly-detection-training-payload.json.
- Berikan lokasi di labelInputConfiguration bagian file. Ganti labels-bucket dengan nama bucket dan files-prefix dengan jalur file atau bagian awalan mana pun. Semua file di lokasi diurai, dan (pada keberhasilan) digunakan sebagai file label.


{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "labelInputConfiguration": 
      {
       "bucketName": "label-bucket",
       "prefix": "files-prefix"
      }
}

contoh dari konfigurasi label:


{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "labelInputConfiguration": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Labels/model=b2d8ab3e-73af-48d8-9b8f-a290bef931b4/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/Lables.csv"
    }
}

Evaluasi model Anda

Diagnostik model pointwise untuk model AWS IoT SiteWise pelatihan adalah evaluasi kinerja model pada acara individu. Selama pelatihan, AWS IoT SiteWise hasilkan skor anomali, dan diagnostik kontribusi sensor untuk setiap baris dalam kumpulan data input. Skor anomali yang lebih tinggi menunjukkan kemungkinan kejadian abnormal yang lebih tinggi.

Diagnostik pointwise tersedia, saat Anda melatih model dengan ExecuteActionAPI, dan AWS/ANOMALY_DETECTION_TRAINING tipe tindakan.

Untuk mengkonfigurasi evaluasi model,

Konfigurasikan bucket Amazon S3 Anda sesuai dengan prasyarat pelabelan pada prasyarat data Pelabelan.
Tambahkan yang berikut ini keanomaly-detection-training-payload.json.
- Berikan evaluationStartTime dan evaluationEndTime (keduanya dalam hitungan detik) untuk data di jendela yang digunakan untuk mengevaluasi kinerja model.
- Sediakan lokasi bucket Amazon S3 (resultDestination) agar diagnostik evaluasi ditulis.

catatan

Interval evaluasi model (dataStartTimetodataEndtime) harus tumpang tindih, atau berdekatan dengan interval pelatihan. Tidak ada celah yang diizinkan.


{
  "exportDataStartTime": StartTime,
  "exportDataEndTime": EndTime,
  "modelEvaluationConfiguration": {
    "dataStartTime": evaluationStartTime,
    "dataEndTime": evaluationEndTime
    "resultDestination": {
      "bucketName": "s3BucketName",
      "prefix": "bucketPrefix"
    }
  }
}

contoh dari konfigurasi evaluasi model:


{
  "exportDataStartTime": 1717225200,
  "exportDataEndTime": 1722789360,
  "modelEvaluationConfiguration": {
    "dataStartTime": 1722789360,
    "dataEndTime": 1725174000,
    "resultDestination": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Evaluation/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/1747681026-evaluation_results.jsonl"
    }
  }
}

Hasilkan metrik model

Metrik model memberikan wawasan komprehensif tentang kinerja dan kualitas model deteksi anomali terlatih Anda. Proses pelatihan secara otomatis menghasilkan metrik ini dan menerbitkannya ke bucket Amazon S3 yang Anda tentukan, sehingga mudah diakses untuk analisis, perbandingan model, dan keputusan promosi dalam alur kerja pelatihan ulang.

Memahami metrik model

Proses pelatihan secara otomatis menghasilkan metrik model dan memberikan informasi terperinci tentang:

Kinerja Model: Ukuran kuantitatif seperti presisi, penarikan, dan AUC saat data berlabel tersedia
Kualitas Data: Informasi tentang data pelatihan yang digunakan dan periode waktu yang tercakup
Deteksi Peristiwa: Statistik tentang anomali yang diidentifikasi dan peristiwa berlabel
Perbandingan Model: Metrik perbandingan antara versi model yang berbeda selama pelatihan ulang

Konfigurasikan tujuan metrik model

Untuk mengaktifkan pembuatan metrik model, konfigurasikan tujuan Amazon S3 tempat metrik dipublikasikan.

Konfigurasikan bucket Amazon S3 Anda sesuai. Prasyarat evaluasi model

Tambahkan yang berikut ini ke payload tindakan pelatihan Anda untuk menentukan di mana metrik model harus disimpan:


{
    "trainingMode": "TRAIN_MODEL",
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    }
}

contoh Contoh konfigurasi metrik model


{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "modelMetricsDestination": {
        "bucketName": "anomaly-detection-metrics-bucket-123456789012-iad",
        "prefix": "ModelMetrics/computation-model-id/asset-id/training-metrics.json"
    }
}

Konfigurasikan metrik model untuk pelatihan ulang

Saat Anda menyiapkan jadwal pelatihan ulang, tujuan metrik model diperlukan untuk mengaktifkan pelacakan dan perbandingan kinerja model yang komprehensif:


{
    "trainingMode": "START_RETRAINING_SCHEDULER",
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    },
    "retrainingConfiguration": {
        "lookbackWindow": "P180D",
        "promotion": "SERVICE_MANAGED",
        "retrainingFrequency": "P30D",
        "retrainingStartDate": "StartDate"
    }
}

Parameter

bucketName: Bucket Amazon S3 tempat metrik model akan disimpan
prefix: Amazon S3 prefix/path untuk mengatur file metrik model

Struktur metrik model

Metrik model disimpan sebagai file JSON di bucket Amazon S3 Anda dalam struktur berikut:


{
    "labeled_ranges": [],
    "labeled_event_metrics": {
        "num_labeled": 0,
        "num_identified": 0,
        "total_warning_time_in_seconds": 0
    },
    "predicted_ranges": [],
    "unknown_event_metrics": {
        "num_identified": 0,
        "total_duration_in_seconds": 0
    },
    "data_start_time": "2023-11-01",
    "data_end_time": "2023-12-31",
    "labels_present": false,
    "model_version_metrics": {
        "precision": 1.0,
        "recall": 1.0,
        "mean_fractional_lead_time": 0.7760964912280702,
        "auc": 0.5971207364893062
    }
}

Metrik kunci

labeled_ranges: Rentang waktu di mana anomali berlabel diberikan selama pelatihan
labeled_event_metrics: Statistik tentang seberapa baik model mengidentifikasi peristiwa berlabel yang diketahui
num_labeled: Jumlah total acara berlabel dalam data pelatihan
num_identified: Jumlah peristiwa berlabel yang diidentifikasi dengan benar oleh model
total_warning_time_in_seconds: Total waktu yang dihabiskan model dalam status peringatan untuk acara berlabel
predicted_ranges: Rentang waktu di mana model memprediksi anomali selama evaluasi
unknown_event_metrics: Statistik tentang anomali yang terdeteksi dalam data yang tidak berlabel
data_start_time / data_end_time: Jendela waktu yang dicakup oleh data pelatihan
labels_present: Boolean menunjukkan apakah data berlabel digunakan selama pelatihan
model_version_metrics: Metrik khusus versi tambahan untuk perbandingan model

Metrik lanjutan untuk model berlabel

Saat Anda memberikan data berlabel selama pelatihan, metrik kinerja tambahan disertakan dalam file Amazon S3:

Ingat: Proporsi peristiwa yang diidentifikasi AWS IoT SiteWise dengan benar pada peristiwa yang Anda beri label selama periode yang sama. Misalnya, Anda mungkin telah memberi label 10 peristiwa, tetapi AWS IoT SiteWise hanya mengidentifikasi 9 di antaranya. Dalam hal ini, penarikan kembali adalah 90%.
Presisi: Proporsi positif sejati terhadap total peristiwa yang diidentifikasi. Misalnya, jika AWS IoT SiteWise mengidentifikasi 10 peristiwa, tetapi hanya 7 dari peristiwa tersebut yang sesuai dengan peristiwa yang Anda beri label, maka ketepatannya adalah 70%.
MeanFractionalLeadTime: Pengukuran seberapa cepat (relatif terhadap panjang acara), rata-rata, AWS IoT SiteWise mendeteksi setiap peristiwa. Misalnya, acara khas di fasilitas Anda dapat berlangsung 10 jam. Rata-rata, mungkin diperlukan model 3 jam untuk mengidentifikasi acara tersebut. Dalam hal ini, lead time fraksional rata-rata adalah 0,7.
AUC: Area Under the Curve (AUC) mengukur kemampuan model pembelajaran mesin untuk memprediksi skor yang lebih tinggi untuk contoh positif dibandingkan dengan contoh negatif. Nilai antara 0 dan 1 yang menunjukkan seberapa baik model Anda dapat memisahkan kategori dalam kumpulan data Anda. Nilai 1 menunjukkan bahwa ia mampu memisahkan kategori dengan sempurna.

Promosi dan metrik model

Selama pelatihan ulang alur kerja, metrik yang disimpan di Amazon S3 memungkinkan keputusan promosi model yang terinformasi:

Mode terkelola (Promosi otomatis)

Sistem secara otomatis membandingkan metrik antara versi model lama dan baru menggunakan data yang disimpan Amazon S3
Model dipromosikan berdasarkan indikator kinerja yang ditingkatkan
Keputusan promosi mencakup kode alasan spesifik yang disimpan bersama metrik:
- AUTO_PROMOTION_SUCCESSFUL: Metrik model baru lebih baik dari versi saat ini
- MODEL_METRICS_DIDNT_IMPROVE: Kinerja model baru tidak membaik
- POOR_MODEL_QUALITY_DETECTED: Model baru memiliki penilaian kualitas yang buruk

Mode manual (Promosi yang dikendalikan pelanggan)

Anda dapat mengunduh dan menganalisis metrik terperinci dari Amazon S3 untuk membuat keputusan promosi
Semua versi model historis dan metriknya tetap dapat diakses di Amazon S3
Anda dapat membuat dasbor khusus dan alat analisis menggunakan metrik yang disimpan Amazon S3

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Aktifkan deteksi anomali pada sensor di seluruh aset

Konfigurasi inferensi lanjutan