Recepción de registros y métricas del modelo

Para recibir los registros y las métricas del entrenamiento o inferencia de modelos personalizados, los miembros deben haber creado una configuración de aprendizaje automático con un rol válido que proporcione los CloudWatch permisos necesarios (consulte Crear un rol de servicio para el modelado de aprendizaje automático personalizado: configuración de aprendizaje automático).

Métrica del sistema

Las métricas del sistema, tanto para el entrenamiento como para la inferencia, como la utilización de la CPU y la memoria, se publican para todos los miembros en colaboración con configuraciones de aprendizaje automático válidas. Estas métricas se pueden ver a medida que avanza el trabajo a través de CloudWatch las métricas en los espacios de /aws/cleanroomsml/TrainedModelInferenceJobs nombres /aws/cleanroomsml/TrainedModels o en los espacios de nombres, respectivamente.

Registros del modelo

El acceso a los registros del modelo se proporciona mediante la política de configuración de privacidad de cada algoritmo del modelo configurado. El autor del modelo establece la política de configuración de privacidad al asociar un algoritmo de modelo configurado (ya sea mediante la consola o la CreateConfiguredModelAlgorithmAssociation API) a una colaboración. Al establecer la política de configuración de privacidad, se controla qué miembros pueden recibir los registros del modelo.

Además, el autor del modelo puede establecer un patrón de filtro en la política de configuración de privacidad para filtrar los eventos del registro. Todos los registros que envía un contenedor modelo stdout o stderr que coinciden con el patrón de filtro (si se ha establecido) se envían a Amazon CloudWatch Logs. Los registros modelo están disponibles en grupos de CloudWatch registros /aws/cleanroomsml/TrainedModels o/aws/cleanroomsml/TrainedModelInferenceJobs, respectivamente.

Métricas definidas de forma personalizada

Al configurar un algoritmo modelo (ya sea mediante la consola o la CreateConfiguredModelAlgorithm API), el autor del modelo puede proporcionar nombres de métricas e instrucciones de expresiones regulares específicos para buscarlos en los registros de salida. Se pueden ver a medida que avanza el trabajo a través de CloudWatch Metrics en el /aws/cleanroomsml/TrainedModels espacio de nombres. Al asociar un algoritmo de modelo configurado, el autor del modelo puede establecer un nivel de ruido opcional en la configuración de privacidad de las métricas para evitar generar datos sin procesar y, al mismo tiempo, ofrecer visibilidad de las tendencias métricas personalizadas. Si se establece un nivel de ruido, las métricas se publican al final del trabajo en lugar de hacerlo en tiempo real.