Configuraciones de entrenamiento avanzadas - AWS IoT SiteWise
Configuración de frecuencia de muestreoEtiquete sus datosEvaluar el modeloGenere métricas de modelos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configuraciones de entrenamiento avanzadas

configuración de frecuencia de muestreo

La frecuencia de muestreo define la frecuencia con la que se registran las lecturas del sensor (por ejemplo, una vez cada segundo o una vez cada minuto). Esta configuración afecta directamente a la granularidad de los datos de entrenamiento e influye en la capacidad del modelo para capturar las variaciones a corto plazo en el comportamiento de los sensores.

Toma de muestras para obtener datos de alta frecuencia y garantizar la coherencia entre el entrenamiento y la inferenciaVisítelo para obtener información sobre las mejores prácticas.

Configure la frecuencia de muestreo objetivo

Si lo desea, puede especificar una TargetSamplingRate en su configuración de entrenamiento para controlar la frecuencia con la que se muestrean los datos. Los valores admitidos son:

PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H

Estos son los formatos de duración ISO 8601, que representan los siguientes formatos de tiempo:

  • PT1S= 1 segundo

  • PT1M= 1 minuto

  • PT1H= 1 hora

Elija una frecuencia de muestreo que logre el equilibrio adecuado entre la resolución de los datos y la eficiencia del entrenamiento. Están disponibles las siguientes tasas:

  • Las frecuencias de muestreo más altas (PT1S) ofrecen detalles más precisos, pero pueden aumentar el volumen de datos y el tiempo de entrenamiento.

  • Las frecuencias de muestreo más bajas (PT10M,PT1H) reducen el tamaño y el costo de los datos, pero pueden pasar por alto anomalías efímeras.

Manejar la desalineación de las marcas de tiempo

AWS IoT SiteWise compensa automáticamente la desalineación de las marcas de tiempo en varios flujos de datos durante el entrenamiento. Esto garantiza un comportamiento uniforme del modelo, incluso si las señales de entrada no están perfectamente alineadas en el tiempo.

Toma de muestras para obtener datos de alta frecuencia y garantizar la coherencia entre el entrenamiento y la inferenciaVisítelo para obtener información sobre las mejores prácticas.

Habilite el muestreo

Añada el siguiente código aanomaly-detection-training-payload.json.

Configure el muestreo añadiendo TargetSamplingRate la carga útil de la acción de entrenamiento, con la frecuencia de muestreo de los datos. Los valores permitidos son:PT1S | PT5S | PT10S | PT15S | PT30S | PT1M | PT5M | PT10M | PT15M | PT30M | PT1H.

{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "targetSamplingRate": "TargetSamplingRate"
}
ejemplo de una configuración de frecuencia de muestreo:
{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "targetSamplingRate": "PT1M"
}

Etiquete sus datos

Al etiquetar los datos, debe definir intervalos de tiempo que representen períodos de comportamiento anormal del equipo. Esta información de etiquetado se proporciona como un CSV archivo, en el que cada fila especifica un intervalo de tiempo durante el cual el equipo no funcionó correctamente.

Cada fila contiene dos marcas de tiempo:

  • La hora de inicio, que indica cuándo se cree que ha comenzado un comportamiento anormal.

  • La hora de finalización, que representa el momento en que se observó por primera vez la falla o el problema.

Este archivo CSV se almacena en un bucket de Amazon S3 y se utiliza durante el entrenamiento de modelos para ayudar al sistema a aprender de ejemplos conocidos de comportamiento anormal. En el siguiente ejemplo, se muestra cómo deben aparecer los datos de la etiqueta como un .csv archivo. El archivo no tiene encabezado.

ejemplo de un archivo CSV:
2024-06-21T00:00:00.000000,2024-06-21T12:00:00.000000
2024-07-11T00:00:00.000000,2024-07-11T12:00:00.000000
2024-07-31T00:00:00.000000,2024-07-31T12:00:00.000000

La fila 1 representa un evento de mantenimiento ocurrido el 21 de junio de 2024, con un período de 12 horas (de 2024-06-21T00:00:00.000000Z a2024-06-21T12:00:00.000000Z) AWS IoT SiteWise para detectar un comportamiento anormal.

La fila 2 representa un evento de mantenimiento ocurrido el 11 de julio de 2024, con un intervalo de 12 horas (de 2024-07-11T00:00:00.000000Z a2024-07-11T12:00:00.000000Z) AWS IoT SiteWise para detectar un comportamiento anormal.

La fila 3 representa un evento de mantenimiento ocurrido el 31 de julio de 2024, con un intervalo de 12 horas (de 2024-07-31T00:00:00.000000Z a2024-07-31T12:00:00.000000Z) AWS IoT SiteWise para detectar un comportamiento anormal.

AWS IoT SiteWise utiliza todos estos intervalos de tiempo para entrenar y evaluar modelos que puedan identificar un comportamiento anormal en torno a estos eventos. Tenga en cuenta que no todos los eventos son detectables y que los resultados dependen en gran medida de la calidad y las características de los datos subyacentes.

Para obtener más información sobre las mejores prácticas de muestreo, consultePrácticas recomendadas.

Pasos para el etiquetado de datos

  • Configure su depósito de Amazon S3 de acuerdo con los requisitos previos de etiquetado en Requisitos previos de etiquetado de datos.

  • Cargue el archivo en su balde de etiquetado.

  • Añada lo siguiente aanomaly-detection-training-payload.json.

    • Proporcione las ubicaciones en la labelInputConfiguration sección del archivo. labels-bucketSustitúyalo por el nombre del depósito y files-prefix por la ruta del archivo o cualquier parte del prefijo. Todos los archivos de la ubicación se analizan y (en caso de éxito) se utilizan como archivos de etiquetas.

{
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "labelInputConfiguration": 
      {
       "bucketName": "label-bucket",
       "prefix": "files-prefix"
      }
}
ejemplo de una configuración de etiquetas:
{
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "labelInputConfiguration": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Labels/model=b2d8ab3e-73af-48d8-9b8f-a290bef931b4/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/Lables.csv"
    }
}

Evaluar el modelo

El diagnóstico puntual de un modelo de AWS IoT SiteWise entrenamiento es una evaluación del rendimiento del modelo en los eventos individuales. Durante el entrenamiento, AWS IoT SiteWise genera una puntuación de anomalías y un diagnóstico de la contribución del sensor para cada fila del conjunto de datos de entrada. Una puntuación de anomalía más alta indica una mayor probabilidad de que se produzca un evento anormal.

Los diagnósticos puntuales están disponibles cuando se entrena un modelo con una ExecuteActionAPI y el tipo de AWS/ANOMALY_DETECTION_TRAINING acción.

Para configurar la evaluación del modelo,

  • Configure su depósito de Amazon S3 de acuerdo con los requisitos previos de etiquetado en Requisitos previos de etiquetado de datos.

  • Añada lo siguiente a. anomaly-detection-training-payload.json

    • Proporcione los datos evaluationStartTime y evaluationEndTime (ambos en segundos de época) en la ventana utilizada para evaluar el rendimiento del modelo.

    • Proporcione la ubicación del depósito de Amazon S3 (resultDestination) para que se escriban los diagnósticos de evaluación.

nota

El intervalo de evaluación del modelo (dataStartTimetodataEndtime) debe superponerse o ser contiguo al intervalo de entrenamiento. No se permiten espacios vacíos.

{
  "exportDataStartTime": StartTime,
  "exportDataEndTime": EndTime,
  "modelEvaluationConfiguration": {
    "dataStartTime": evaluationStartTime,
    "dataEndTime": evaluationEndTime
    "resultDestination": {
      "bucketName": "s3BucketName",
      "prefix": "bucketPrefix"
    }
  }
}
ejemplo de una configuración de evaluación de modelos:
{
  "exportDataStartTime": 1717225200,
  "exportDataEndTime": 1722789360,
  "modelEvaluationConfiguration": {
    "dataStartTime": 1722789360,
    "dataEndTime": 1725174000,
    "resultDestination": {
      "bucketName": "anomaly-detection-customer-data-278129555252-iad",
      "prefix": "Evaluation/asset[d3347728-4796-4c5c-afdb-ea2f551ffe7a]/1747681026-evaluation_results.jsonl"
    }
  }
}

Genere métricas del modelo

Las métricas de los modelos proporcionan información exhaustiva sobre el rendimiento y la calidad de los modelos de detección de anomalías entrenados. El proceso de formación genera automáticamente estas métricas y las publica en el bucket de Amazon S3 especificado, lo que permite acceder a ellas fácilmente para su análisis, comparación de modelos y decisiones de promoción en los flujos de trabajo de reentrenamiento.

Comprender las métricas de los modelos

El proceso de formación genera automáticamente métricas del modelo y proporciona información detallada sobre:

  • Rendimiento del modelo: medidas cuantitativas como la precisión, la recuperación y el AUC cuando hay datos etiquetados disponibles

  • Calidad de los datos: información sobre los datos de entrenamiento utilizados y los períodos de tiempo cubiertos

  • Detección de eventos: estadísticas sobre las anomalías identificadas y los eventos etiquetados

  • Comparación de modelos: métricas de comparación entre diferentes versiones del modelo durante el reentrenamiento

Configure el destino de las métricas del modelo

Para habilitar la generación de métricas del modelo, configure un destino de Amazon S3 donde se publiquen las métricas.

  1. Configure su bucket de Amazon S3 según laRequisitos previos para la evaluación del modelo.

  2. Añada lo siguiente a la carga útil de sus acciones de entrenamiento para especificar dónde deben almacenarse las métricas del modelo:

    {
    "trainingMode": "TRAIN_MODEL",
    "exportDataStartTime": StartTime,
    "exportDataEndTime": EndTime,
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    }
}
    ejemplo Ejemplo de configuración de métricas del modelo
    {
    "exportDataStartTime": 1717225200,
    "exportDataEndTime": 1722789360,
    "modelMetricsDestination": {
        "bucketName": "anomaly-detection-metrics-bucket-123456789012-iad",
        "prefix": "ModelMetrics/computation-model-id/asset-id/training-metrics.json"
    }
}

Configure las métricas del modelo para el reentrenamiento

Al configurar los programas de reentrenamiento, se requiere el destino de las métricas del modelo para permitir un seguimiento y una comparación exhaustivos del rendimiento del modelo:

{
    "trainingMode": "START_RETRAINING_SCHEDULER",
    "modelMetricsDestination": {
        "bucketName": "bucket-name",
        "prefix": "prefix"
    },
    "retrainingConfiguration": {
        "lookbackWindow": "P180D",
        "promotion": "SERVICE_MANAGED",
        "retrainingFrequency": "P30D",
        "retrainingStartDate": "StartDate"
    }
}
Parámetros
bucketName

Depósito de Amazon S3 donde se almacenarán las métricas del modelo

prefix

Amazon S3 prefix/path para organizar archivos de métricas de modelos

Estructura de métricas del modelo

Las métricas del modelo se almacenan como archivos JSON en su bucket de Amazon S3 con la siguiente estructura:

{
    "labeled_ranges": [],
    "labeled_event_metrics": {
        "num_labeled": 0,
        "num_identified": 0,
        "total_warning_time_in_seconds": 0
    },
    "predicted_ranges": [],
    "unknown_event_metrics": {
        "num_identified": 0,
        "total_duration_in_seconds": 0
    },
    "data_start_time": "2023-11-01",
    "data_end_time": "2023-12-31",
    "labels_present": false,
    "model_version_metrics": {
        "precision": 1.0,
        "recall": 1.0,
        "mean_fractional_lead_time": 0.7760964912280702,
        "auc": 0.5971207364893062
    }
}
Métricas clave
labeled_ranges

Intervalos de tiempo en los que se detectaron anomalías etiquetadas durante el entrenamiento

labeled_event_metrics

Estadísticas sobre qué tan bien el modelo identificó los eventos etiquetados conocidos

num_labeled

Número total de eventos etiquetados en los datos de entrenamiento

num_identified

Número de eventos etiquetados que el modelo identificó correctamente

total_warning_time_in_seconds

Tiempo total que el modelo pasó en estado de advertencia para los eventos etiquetados

predicted_ranges

Intervalos de tiempo en los que el modelo predijo anomalías durante la evaluación

unknown_event_metrics

Estadísticas sobre las anomalías detectadas en datos no etiquetados

data_start_time / data_end_time

Ventana de tiempo cubierta por los datos de entrenamiento

labels_present

Un valor booleano que indica si se usaron datos etiquetados durante el entrenamiento

model_version_metrics

Métricas adicionales específicas de la versión para comparar modelos

Métricas avanzadas para modelos etiquetados

Cuando proporciona datos etiquetados durante el entrenamiento, se incluyen métricas de rendimiento adicionales en los archivos de Amazon S3:

  • Recuerde: la proporción de eventos que se identificaron AWS IoT SiteWise correctamente con respecto a los eventos que etiquetó durante el mismo período. Por ejemplo, es posible que haya etiquetado 10 eventos, pero AWS IoT SiteWise solo haya identificado 9 de ellos. En este caso, la retirada es del 90%.

  • Precisión: la proporción de positivos verdaderos con respecto al total de eventos identificados. Por ejemplo, si AWS IoT SiteWise identifica 10 eventos, pero solo 7 de esos eventos corresponden a los eventos que ha etiquetado, la precisión es del 70%.

  • MeanFractionalLeadTime: una medida de la rapidez con la que, en promedio, se AWS IoT SiteWise detecta cada evento (en relación con la duración del evento). Por ejemplo, un evento típico en sus instalaciones puede durar 10 horas. En promedio, el modelo puede tardar 3 horas en identificar el evento. En este caso, el tiempo medio de entrega fraccional es de 0,7.

  • AUC: Area Under the Curve (AUC) mide la capacidad de un modelo de aprendizaje automático para predecir una puntuación más alta en los ejemplos positivos en comparación con los negativos. Un valor entre 0 y 1 que indica qué tan bien el modelo es capaz de separar las categorías del conjunto de datos. Un valor de 1 indica que fue capaz de separar las categorías a la perfección.

Promoción y métricas del modelo

Durante los flujos de trabajo de reentrenamiento, las métricas almacenadas en Amazon S3 permiten tomar decisiones informadas sobre la promoción de modelos:

Modo gestionado (promoción automática)

  • El sistema compara automáticamente las métricas entre las versiones antiguas y nuevas del modelo utilizando los datos almacenados en Amazon S3

  • Los modelos se promocionan en función de indicadores de rendimiento mejorados

  • Las decisiones de promoción incluyen códigos de motivo específicos que se almacenan junto con las métricas:

    • AUTO_PROMOTION_SUCCESSFUL: Las métricas del nuevo modelo son mejores que las de la versión actual

    • MODEL_METRICS_DIDNT_IMPROVE: El rendimiento del nuevo modelo no mejoró

    • POOR_MODEL_QUALITY_DETECTED: El nuevo modelo tiene una evaluación de calidad deficiente

Modo manual (promoción controlada por el cliente)

  • Puede descargar y analizar métricas detalladas de Amazon S3 para tomar decisiones de promoción

  • Todas las versiones históricas del modelo y sus métricas permanecen accesibles en Amazon S3

  • Puede crear paneles y herramientas de análisis personalizados con las métricas almacenadas en Amazon S3