Configurations d'entraînement avancées - AWS IoT SiteWise
Configuration de la fréquence d'échantillonnageÉtiquetez vos donnéesÉvaluation de votre modèleGénérer des métriques du modèle

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurations d'entraînement avancées

Configuration de la fréquence d'échantillonnage

La fréquence d'échantillonnage définit la fréquence à laquelle les mesures du capteur sont enregistrées (par exemple, une fois par seconde ou une fois par minute). Ce paramètre a un impact direct sur la granularité des données d'entraînement et influence la capacité du modèle à capturer les variations à court terme du comportement des capteurs.

Visitez Échantillonnage pour les données à haute fréquence et cohérence entre l'entraînement et l'inférence pour en savoir plus sur les meilleures pratiques.

Configurer le taux d'échantillonnage cible

Vous pouvez éventuellement spécifier un TargetSamplingRate dans votre configuration d'entraînement, afin de contrôler la fréquence à laquelle les données sont échantillonnées. Les valeurs prises en charge sont :

PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H

Il s'agit des formats de durée ISO 8601, qui représentent les formats temporels suivants :

  • PT1S= 1 seconde

  • PT1M= 1 minute

  • PT1H= 1 heure

Choisissez une fréquence d'échantillonnage qui trouve le juste équilibre entre résolution des données et efficacité de la formation. Les tarifs suivants sont disponibles :

  • Des taux d'échantillonnage plus élevés (PT1S) permettent d'obtenir des détails plus fins mais peuvent augmenter le volume de données et le temps d'entraînement.

  • Des taux d'échantillonnage plus faibles (PT10M,PT1H) réduisent la taille et le coût des données, mais peuvent passer à côté d'anomalies de courte durée.

Gestion du désalignement de l'horodatage

AWS IoT SiteWise compense automatiquement le mauvais alignement de l'horodatage sur plusieurs flux de données pendant l'entraînement. Cela garantit un comportement cohérent du modèle même si les signaux d'entrée ne sont pas parfaitement alignés dans le temps.

Visitez Échantillonnage pour les données à haute fréquence et cohérence entre l'entraînement et l'inférence pour en savoir plus sur les meilleures pratiques.

Activer l'échantillonnage

Ajoutez le code suivant àanomaly-detection-training-payload.json.

Configurez l'échantillonnage TargetSamplingRate en ajoutant la charge utile de l'action d'entraînement, avec le taux d'échantillonnage des données. Les valeurs autorisées sont :PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H.

{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "targetSamplingRate": "TargetSamplingRate"
}
Exemple d'une configuration de fréquence d'échantillonnage :
{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "targetSamplingRate": "PT1M"
}

Étiquetez vos données

Lorsque vous étiquetez vos données, vous devez définir des intervalles de temps qui représentent les périodes de comportement anormal de l'équipement. Ces informations d'étiquetage sont fournies sous forme de CSV fichier, où chaque ligne indique une plage de temps pendant laquelle l'équipement ne fonctionnait pas correctement.

Chaque ligne contient deux horodatages :

  • L'heure de début, indiquant le moment où un comportement anormal est censé avoir commencé.

  • L'heure de fin, qui représente le moment où la défaillance ou le problème a été observé pour la première fois.

Ce fichier CSV est stocké dans un compartiment Amazon S3 et est utilisé lors de l'entraînement des modèles pour aider le système à tirer des leçons d'exemples connus de comportements anormaux. L'exemple suivant montre comment les données de votre étiquette doivent apparaître sous forme de .csv fichier. Le fichier n'a pas d'en-tête.

Exemple d'un fichier CSV :
2024-06-21T00:00:00.000000,2024-06-21T12:00:00.000000
2024-07-11T00:00:00.000000,2024-07-11T12:00:00.000000
2024-07-31T00:00:00.000000,2024-07-31T12:00:00.000000

La ligne 1 représente un événement de maintenance survenu le 21 juin 2024, avec une fenêtre de 12 heures (de 2024-06-21T00:00:00.000000Z à2024-06-21T12:00:00.000000Z) AWS IoT SiteWise pour rechercher un comportement anormal.

La ligne 2 représente un événement de maintenance survenu le 11 juillet 2024, avec une fenêtre de 12 heures (de 2024-07-11T00:00:00.000000Z à2024-07-11T12:00:00.000000Z) AWS IoT SiteWise pour rechercher un comportement anormal.

La ligne 3 représente un événement de maintenance survenu le 31 juillet 2024, avec une fenêtre de 12 heures (de 2024-07-31T00:00:00.000000Z à2024-07-31T12:00:00.000000Z) AWS IoT SiteWise pour rechercher un comportement anormal.

AWS IoT SiteWise utilise toutes ces fenêtres temporelles pour entraîner et évaluer des modèles capables d'identifier les comportements anormaux liés à ces événements. Notez que tous les événements ne sont pas détectables et que les résultats dépendent fortement de la qualité et des caractéristiques des données sous-jacentes.

Pour plus de détails sur les meilleures pratiques en matière d'échantillonnage, voirBonnes pratiques.

Étapes d'étiquetage des données

  • Configurez votre compartiment Amazon S3 conformément aux conditions d'étiquetage requises dans la section Conditions requises pour les données d'étiquetage.

  • Téléchargez le fichier dans votre compartiment d'étiquetage.

  • Ajoutez ce qui suit àanomaly-detection-training-payload.json.

    • Indiquez les emplacements dans la labelInputConfiguration section du fichier. labels-bucketRemplacez-le par le nom du compartiment et files-prefix par le chemin du ou des fichiers ou toute partie du préfixe. Tous les fichiers de cet emplacement sont analysés et (en cas de succès) utilisés comme fichiers d'étiquette.

{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "labelInputConfiguration": 
      {
       "bucketName": "label-bucket",
       "prefix": "files-prefix"
      }
}
Exemple d'une configuration d'étiquette :
{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "labelInputConfiguration": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Labels/model=b2d8ab3e-73af-48d8-9b8f-a290bef931b4/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/Lables.csv"
    }
}

Évaluation de votre modèle

Le diagnostic ponctuel d'un modèle d' AWS IoT SiteWise entraînement consiste en une évaluation des performances du modèle lors d'événements individuels. Pendant l'entraînement, AWS IoT SiteWise génère un score d'anomalie et des diagnostics de contribution du capteur pour chaque ligne de l'ensemble de données d'entrée. Un score d'anomalie plus élevé indique une probabilité plus élevée d'un événement anormal.

Des diagnostics ponctuels sont disponibles lorsque vous entraînez un modèle avec une ExecuteActionAPI et un type AWS/ANOMALY_DETECTION_TRAINING d'action.

Pour configurer l'évaluation du modèle,

  • Configurez votre compartiment Amazon S3 conformément aux exigences d'étiquetage de la section Conditions requises pour les données d'étiquetage.

  • Ajoutez ce qui suit àanomaly-detection-training-payload.json.

    • Indiquez le evaluationStartTime et evaluationEndTime (les deux en secondes d'époque) pour les données de la fenêtre utilisée pour évaluer les performances du modèle.

    • Indiquez l'emplacement du compartiment Amazon S3 (resultDestination) dans lequel les diagnostics d'évaluation seront écrits.

Note

L'intervalle d'évaluation du modèle (dataStartTimetodataEndtime) doit soit se chevaucher, soit être contigu à l'intervalle d'entraînement. Aucune lacune n'est autorisée.

{
  "exportDataStartTime": StartTime,
  "exportDataEndTime": EndTime,
  "modelEvaluationConfiguration": {
    "dataStartTime": evaluationStartTime,
    "dataEndTime": evaluationEndTime
    "resultDestination": {
      "bucketName": "s3BucketName",
      "prefix": "bucketPrefix"
    }
  }
}
Exemple d'une configuration d'évaluation du modèle :
{
  "exportDataStartTime": 1717225200,
  "exportDataEndTime": 1722789360,
  "modelEvaluationConfiguration": {
    "dataStartTime": 1722789360,
    "dataEndTime": 1725174000,
    "resultDestination": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Evaluation/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/1747681026-evaluation_results.jsonl"
    }
  }
}

Générer des métriques du modèle

Les métriques du modèle fournissent des informations complètes sur les performances et la qualité de vos modèles de détection d'anomalies entraînés. Le processus de formation génère automatiquement ces indicateurs et les publie dans le compartiment Amazon S3 que vous avez spécifié, ce qui les rend facilement accessibles pour l'analyse, la comparaison des modèles et les décisions de promotion dans le cadre des flux de travail de reconversion.

Comprendre les métriques du modèle

Le processus de formation génère automatiquement les métriques du modèle et fournit des informations détaillées sur :

  • Performance du modèle : mesures quantitatives telles que la précision, le rappel et l'AUC lorsque des données étiquetées sont disponibles

  • Qualité des données : informations sur les données de formation utilisées et les périodes couvertes

  • Détection d'événements : statistiques sur les anomalies identifiées et les événements étiquetés

  • Comparaison des modèles : mesures de comparaison entre les différentes versions du modèle pendant le recyclage

Configurer la destination des métriques du modèle

Pour activer la génération des métriques du modèle, configurez une destination Amazon S3 où les métriques sont publiées.

  1. Configurez votre compartiment Amazon S3 conformément auConditions préalables à l'évaluation du modèle.

  2. Ajoutez ce qui suit à votre charge utile d'action d'entraînement pour spécifier où les métriques du modèle doivent être stockées :

    {
    "trainingMode": "TRAIN_MODEL",
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    }
}
    Exemple de configuration des métriques du modèle
    {
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "modelMetricsDestination": {
        "bucketName": "anomaly-detection-metrics-bucket-123456789012-iad",
        "prefix": "ModelMetrics/computation-model-id/asset-id/training-metrics.json"
    }
}

Configurer les métriques du modèle pour le recyclage

Lorsque vous configurez des programmes de reconversion, la destination des indicateurs du modèle est requise pour permettre un suivi et une comparaison complets des performances des modèles :

{
    "trainingMode": "START_RETRAINING_SCHEDULER",
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    },
    "retrainingConfiguration": {
        "lookbackWindow": "P180D",
        "promotion": "SERVICE_MANAGED",
        "retrainingFrequency": "P30D",
        "retrainingStartDate": "StartDate"
    }
}
Paramètres
bucketName

Compartiment Amazon S3 dans lequel les métriques du modèle seront stockées

prefix

Amazon S3 prefix/path pour organiser les fichiers de métriques du modèle

Structure des métriques du modèle

Les métriques du modèle sont stockées sous forme de fichiers JSON dans votre compartiment Amazon S3 selon la structure suivante :

{
    "labeled_ranges": [],
    "labeled_event_metrics": {
        "num_labeled": 0,
        "num_identified": 0,
        "total_warning_time_in_seconds": 0
    },
    "predicted_ranges": [],
    "unknown_event_metrics": {
        "num_identified": 0,
        "total_duration_in_seconds": 0
    },
    "data_start_time": "2023-11-01",
    "data_end_time": "2023-12-31",
    "labels_present": false,
    "model_version_metrics": {
        "precision": 1.0,
        "recall": 1.0,
        "mean_fractional_lead_time": 0.7760964912280702,
        "auc": 0.5971207364893062
    }
}
Indicateurs clés
labeled_ranges

Plages temporelles dans lesquelles des anomalies étiquetées ont été signalées pendant l'entraînement

labeled_event_metrics

Statistiques sur la capacité du modèle à identifier les événements étiquetés connus

num_labeled

Nombre total d'événements étiquetés dans les données d'entraînement

num_identified

Nombre d'événements étiquetés correctement identifiés par le modèle

total_warning_time_in_seconds

Temps total passé par le modèle en état d'alerte pour les événements étiquetés

predicted_ranges

Plages temporelles au cours desquelles le modèle a prédit des anomalies lors de l'évaluation

unknown_event_metrics

Statistiques sur les anomalies détectées dans les données non étiquetées

data_start_time / data_end_time

Fenêtre temporelle couverte par les données d'entraînement

labels_present

Booléen indiquant si des données étiquetées ont été utilisées pendant l'entraînement

model_version_metrics

Mesures supplémentaires spécifiques à la version pour la comparaison des modèles

Mesures avancées pour les modèles étiquetés

Lorsque vous fournissez des données étiquetées pendant l'entraînement, des mesures de performance supplémentaires sont incluses dans les fichiers Amazon S3 :

  • Rappel : proportion d'événements AWS IoT SiteWise correctement identifiés par rapport aux événements que vous avez étiquetés au cours de la même période. Par exemple, vous avez peut-être étiqueté 10 événements, mais AWS IoT SiteWise n'en avez identifié que 9. Dans ce cas, le rappel est de 90 %.

  • Précision : proportion de vrais positifs par rapport au nombre total d'événements identifiés. Par exemple, si 10 AWS IoT SiteWise événements sont identifiés, mais que seuls 7 de ces événements correspondent aux événements que vous avez étiquetés, la précision est de 70 %.

  • MeanFractionalLeadTime: une mesure de la rapidité (par rapport à la durée de l'événement), en moyenne, à la AWS IoT SiteWise détection de chaque événement. Par exemple, un événement typique dans votre établissement peut durer 10 heures. En moyenne, le modèle peut mettre 3 heures à identifier l'événement. Dans ce cas, le délai fractionnaire moyen est de 0,7.

  • AUC : Area Under the Curve (AUC) mesure la capacité d'un modèle d'apprentissage automatique à prédire un score plus élevé pour les exemples positifs par rapport aux exemples négatifs. Une valeur comprise entre 0 et 1 qui indique dans quelle mesure votre modèle est capable de séparer les catégories de votre jeu de données. Une valeur 1 indique qu'elle a réussi à séparer parfaitement les catégories.

Promotion du modèle et indicateurs

Au cours des workflows de reconversion, les métriques stockées dans Amazon S3 permettent de prendre des décisions éclairées en matière de promotion des modèles :

Mode géré (promotion automatique)

  • Le système compare automatiquement les métriques entre les anciennes et les nouvelles versions du modèle à l'aide des données stockées sur Amazon S3

  • Les modèles sont promus sur la base d'indicateurs de performance améliorés

  • Les décisions de promotion incluent des codes de motif spécifiques stockés à côté des statistiques :

    • AUTO_PROMOTION_SUCCESSFUL: les indicateurs du nouveau modèle sont meilleurs que ceux de la version actuelle

    • MODEL_METRICS_DIDNT_IMPROVE: Les performances du nouveau modèle ne se sont pas améliorées

    • POOR_MODEL_QUALITY_DETECTED: L'évaluation de la qualité du nouveau modèle est médiocre

Mode manuel (promotion contrôlée par le client)

  • Vous pouvez télécharger et analyser des métriques détaillées depuis Amazon S3 pour prendre des décisions de promotion

  • Toutes les versions historiques des modèles et leurs métriques restent accessibles dans Amazon S3

  • Vous pouvez créer des tableaux de bord et des outils d'analyse personnalisés à l'aide des métriques stockées sur Amazon S3