Configurazioni di allenamento avanzate - AWS IoT SiteWise
Configurazione della frequenza di campionamentoEtichetta i tuoi datiValutazione del modelloGenera metriche del modello

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazioni di allenamento avanzate

configurazione della frequenza di campionamento

La frequenza di campionamento definisce la frequenza con cui vengono registrate le letture del sensore (ad esempio, una volta al secondo o una volta al minuto). Questa impostazione influisce direttamente sulla granularità dei dati di addestramento e influenza la capacità del modello di rilevare variazioni a breve termine nel comportamento del sensore.

Visita la pagina Campionamento per dati ad alta frequenza e coerenza tra addestramento e inferenza per scoprire le migliori pratiche.

Configura la frequenza di campionamento target

Facoltativamente, puoi specificare un TargetSamplingRate nella configurazione di allenamento, per controllare la frequenza con cui vengono campionati i dati. I valori supportati sono:

PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H

Si tratta di formati di durata ISO 8601, che rappresentano i seguenti formati temporali:

  • PT1S= 1 secondo

  • PT1M= 1 minuto

  • PT1H= 1 ora

Scegliete una frequenza di campionamento che rappresenti il giusto equilibrio tra risoluzione dei dati ed efficienza dell'allenamento. Sono disponibili le seguenti tariffe:

  • Frequenze di campionamento più elevate (PT1S) offrono dettagli più precisi, ma possono aumentare il volume dei dati e il tempo di formazione.

  • Frequenze di campionamento più basse (PT10M,PT1H) riducono le dimensioni e i costi dei dati, ma possono non rilevare anomalie di breve durata.

Gestione del disallineamento del timestamp

AWS IoT SiteWise compensa automaticamente il disallineamento del timestamp su più flussi di dati durante l'allenamento. Ciò garantisce un comportamento coerente del modello anche se i segnali di ingresso non sono perfettamente allineati nel tempo.

Visita Campionamento per dati ad alta frequenza e coerenza tra addestramento e inferenza la pagina per scoprire le migliori pratiche.

Abilita il campionamento

Aggiungere il codice seguente a. anomaly-detection-training-payload.json

Configura il campionamento aggiungendo TargetSamplingRate il payload dell'azione di formazione, con la frequenza di campionamento dei dati. I valori consentiti sono:. PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H

{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "targetSamplingRate": "TargetSamplingRate"
}
Esempio di una configurazione della frequenza di campionamento:
{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "targetSamplingRate": "PT1M"
}

Etichetta i tuoi dati

Quando si etichettano i dati, è necessario definire intervalli di tempo che rappresentino periodi di comportamento anomalo delle apparecchiature. Queste informazioni di etichettatura vengono fornite come CSV file, in cui ogni riga specifica un intervallo di tempo durante il quale l'apparecchiatura non funzionava correttamente.

Ogni riga contiene due timestamp:

  • L'ora di inizio, che indica quando si ritiene che sia iniziato un comportamento anomalo.

  • L'ora di fine, che rappresenta la data in cui l'errore o il problema sono stati rilevati per la prima volta.

Questo file CSV è archiviato in un bucket Amazon S3 e viene utilizzato durante la formazione dei modelli per aiutare il sistema a imparare da esempi noti di comportamento anomalo. L'esempio seguente mostra come i dati dell'etichetta devono apparire come file. .csv Il file non ha un'intestazione.

Esempio di un file CSV:
2024-06-21T00:00:00.000000,2024-06-21T12:00:00.000000
2024-07-11T00:00:00.000000,2024-07-11T12:00:00.000000
2024-07-31T00:00:00.000000,2024-07-31T12:00:00.000000

La riga 1 rappresenta un evento di manutenzione il 21 giugno 2024, con una finestra di 12 ore (dal 2024-06-21T00:00:00.000000Z al2024-06-21T12:00:00.000000Z) per individuare eventuali comportamenti AWS IoT SiteWise anomali.

La riga 2 rappresenta un evento di manutenzione l'11 luglio 2024, con una finestra di 12 ore (dal 2024-07-11T00:00:00.000000Z al2024-07-11T12:00:00.000000Z) per AWS IoT SiteWise cercare comportamenti anomali.

La riga 3 rappresenta un evento di manutenzione il 31 luglio 2024, con una finestra di 12 ore (dal 2024-07-31T00:00:00.000000Z al2024-07-31T12:00:00.000000Z) per AWS IoT SiteWise cercare comportamenti anomali.

AWS IoT SiteWise utilizza tutte queste finestre temporali per addestrare e valutare modelli in grado di identificare comportamenti anomali in relazione a questi eventi. Tieni presente che non tutti gli eventi sono rilevabili e i risultati dipendono in larga misura dalla qualità e dalle caratteristiche dei dati sottostanti.

Per informazioni dettagliate sulle procedure consigliate per il campionamento, vedere. Best practice

Fasi di etichettatura dei dati

  • Configura il tuo bucket Amazon S3 in base ai prerequisiti di etichettatura in Labeling data prerequisites.

  • Carica il file nel tuo bucket di etichettatura.

  • Aggiungi quanto segue a. anomaly-detection-training-payload.json

    • Specificate le posizioni nella labelInputConfiguration sezione del file. Sostituisci labels-bucket con il nome del bucket e files-prefix con il percorso dei file o qualsiasi parte del prefisso. Tutti i file presenti nella posizione vengono analizzati e (in caso di successo) utilizzati come file di etichette.

{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "labelInputConfiguration": 
      {
       "bucketName": "label-bucket",
       "prefix": "files-prefix"
      }
}
Esempio di una configurazione di etichetta:
{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "labelInputConfiguration": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Labels/model=b2d8ab3e-73af-48d8-9b8f-a290bef931b4/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/Lables.csv"
    }
}

Valutazione del modello

La diagnostica puntuale del modello per un modello di AWS IoT SiteWise allenamento è una valutazione delle prestazioni del modello in occasione di singoli eventi. Durante l'addestramento, AWS IoT SiteWise genera un punteggio di anomalia e esegue una diagnostica del contributo dei sensori per ogni riga del set di dati di input. Un punteggio di anomalia più elevato indica una maggiore probabilità di un evento anomalo.

La diagnostica puntuale è disponibile quando si addestra un modello con ExecuteActionAPI e il tipo di azione. AWS/ANOMALY_DETECTION_TRAINING

Per configurare la valutazione del modello,

Nota

L'intervallo di valutazione del modello (dataStartTimetodataEndtime) deve sovrapporsi o essere contiguo all'intervallo di addestramento. Non sono consentiti spazi vuoti.

{
  "exportDataStartTime": StartTime,
  "exportDataEndTime": EndTime,
  "modelEvaluationConfiguration": {
    "dataStartTime": evaluationStartTime,
    "dataEndTime": evaluationEndTime
    "resultDestination": {
      "bucketName": "s3BucketName",
      "prefix": "bucketPrefix"
    }
  }
}
Esempio di una configurazione di valutazione del modello:
{
  "exportDataStartTime": 1717225200,
  "exportDataEndTime": 1722789360,
  "modelEvaluationConfiguration": {
    "dataStartTime": 1722789360,
    "dataEndTime": 1725174000,
    "resultDestination": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Evaluation/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/1747681026-evaluation_results.jsonl"
    }
  }
}

Genera metriche del modello

Le metriche dei modelli forniscono informazioni complete sulle prestazioni e sulla qualità dei modelli di rilevamento delle anomalie addestrati. Il processo di formazione genera automaticamente questi parametri e li pubblica nel bucket Amazon S3 specificato, rendendoli facilmente accessibili per analisi, confronto di modelli e decisioni di promozione nei flussi di lavoro di riqualificazione.

Comprensione delle metriche dei modelli

Il processo di formazione genera automaticamente le metriche del modello e fornisce informazioni dettagliate su:

  • Prestazioni del modello: misure quantitative come precisione, richiamo e AUC quando sono disponibili dati etichettati

  • Qualità dei dati: informazioni sui dati di formazione utilizzati e sui periodi di tempo coperti

  • Rilevamento degli eventi: statistiche sulle anomalie identificate e sugli eventi etichettati

  • Confronto tra modelli: metriche di confronto tra diverse versioni del modello durante la riqualificazione

Configura la destinazione delle metriche del modello

Per abilitare la generazione di metriche del modello, configura una destinazione Amazon S3 in cui vengono pubblicate le metriche.

  1. Configura il tuo bucket Amazon S3 secondo il. Prerequisiti per la valutazione del modello

  2. Aggiungi quanto segue al payload delle azioni di formazione per specificare dove devono essere archiviate le metriche del modello:

    {
    "trainingMode": "TRAIN_MODEL",
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    }
}
    Esempio di configurazione delle metriche del modello
    {
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "modelMetricsDestination": {
        "bucketName": "anomaly-detection-metrics-bucket-123456789012-iad",
        "prefix": "ModelMetrics/computation-model-id/asset-id/training-metrics.json"
    }
}

Configura le metriche del modello per la riqualificazione

Quando si impostano i programmi di riqualificazione, è necessaria la destinazione delle metriche dei modelli per consentire il monitoraggio e il confronto completi delle prestazioni dei modelli:

{
    "trainingMode": "START_RETRAINING_SCHEDULER",
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    },
    "retrainingConfiguration": {
        "lookbackWindow": "P180D",
        "promotion": "SERVICE_MANAGED",
        "retrainingFrequency": "P30D",
        "retrainingStartDate": "StartDate"
    }
}
Parametri
bucketName

Bucket Amazon S3 in cui verranno archiviate le metriche del modello

prefix

Amazon S3 prefix/path per organizzare i file delle metriche dei modelli

Struttura delle metriche del modello

Le metriche del modello vengono archiviate come file JSON nel bucket Amazon S3 nella seguente struttura:

{
    "labeled_ranges": [],
    "labeled_event_metrics": {
        "num_labeled": 0,
        "num_identified": 0,
        "total_warning_time_in_seconds": 0
    },
    "predicted_ranges": [],
    "unknown_event_metrics": {
        "num_identified": 0,
        "total_duration_in_seconds": 0
    },
    "data_start_time": "2023-11-01",
    "data_end_time": "2023-12-31",
    "labels_present": false,
    "model_version_metrics": {
        "precision": 1.0,
        "recall": 1.0,
        "mean_fractional_lead_time": 0.7760964912280702,
        "auc": 0.5971207364893062
    }
}
Metriche chiave
labeled_ranges

Intervalli di tempo in cui sono state fornite anomalie etichettate durante l'addestramento

labeled_event_metrics

Statistiche sulla capacità del modello di identificare eventi noti etichettati

num_labeled

Numero totale di eventi etichettati nei dati di allenamento

num_identified

Numero di eventi etichettati che il modello ha identificato correttamente

total_warning_time_in_seconds

Tempo totale trascorso dal modello in stato di avviso per gli eventi etichettati

predicted_ranges

Intervalli di tempo in cui il modello ha previsto anomalie durante la valutazione

unknown_event_metrics

Statistiche sulle anomalie rilevate nei dati non etichettati

data_start_time / data_end_time

Finestra temporale coperta dai dati di allenamento

labels_present

Valore booleano che indica se i dati etichettati sono stati utilizzati durante l'allenamento

model_version_metrics

Metriche aggiuntive specifiche per la versione per il confronto dei modelli

Metriche avanzate per i modelli etichettati

Quando fornisci dati etichettati durante la formazione, nei file Amazon S3 sono inclusi parametri prestazionali aggiuntivi:

  • Richiamo: la percentuale di eventi identificati AWS IoT SiteWise correttamente rispetto agli eventi che hai etichettato durante lo stesso periodo. Ad esempio, potresti aver etichettato 10 eventi, ma ne hai identificati AWS IoT SiteWise solo 9. In questo caso, il richiamo è del 90%.

  • Precisione: la percentuale di veri positivi rispetto al totale degli eventi identificati. Ad esempio, se AWS IoT SiteWise identifica 10 eventi, ma solo 7 di questi eventi corrispondono agli eventi che hai etichettato, la precisione è del 70%.

  • MeanFractionalLeadTime: Una misurazione della velocità (rispetto alla durata dell'evento), in media, AWS IoT SiteWise rileva ogni evento. Ad esempio, un evento tipico presso la vostra struttura può durare 10 ore. In media, il modello può impiegare 3 ore per identificare l'evento. In questo caso, il lead time frazionario medio è 0,7.

  • AUC: Area Under the Curve (AUC) misura la capacità di un modello di apprendimento automatico di prevedere un punteggio più elevato per gli esempi positivi rispetto agli esempi negativi. Un valore compreso tra 0 e 1 che indica quanto bene il modello è in grado di separare le categorie nel set di dati. Un valore di 1 indica che è stato in grado di separare perfettamente le categorie.

Promozione e metriche del modello

Durante i flussi di lavoro di riqualificazione, le metriche memorizzate in Amazon S3 consentono decisioni informate sulla promozione dei modelli:

Modalità gestita (promozione automatica)

  • Il sistema confronta automaticamente le metriche tra le versioni vecchie e nuove del modello utilizzando i dati archiviati in Amazon S3

  • I modelli vengono promossi sulla base di indicatori di prestazioni migliorati

  • Le decisioni relative alla promozione includono codici motivazionali specifici memorizzati insieme alle metriche:

    • AUTO_PROMOTION_SUCCESSFUL: Le nuove metriche del modello sono migliori rispetto alla versione attuale

    • MODEL_METRICS_DIDNT_IMPROVE: Le prestazioni del nuovo modello non sono migliorate

    • POOR_MODEL_QUALITY_DETECTED: Il nuovo modello presenta una valutazione di qualità scadente

Modalità manuale (promozione controllata dal cliente)

  • Puoi scaricare e analizzare metriche dettagliate da Amazon S3 per prendere decisioni sulle promozioni.

  • Tutte le versioni storiche dei modelli e le relative metriche rimangono accessibili in Amazon S3

  • Puoi creare dashboard e strumenti di analisi personalizzati utilizzando i parametri memorizzati in Amazon S3