Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
3. Observabilidad y administración de modelos
La sección de observabilidad y administración de modelos de la lista de verificación abarca el control de las versiones de los modelos y el seguimiento del linaje en todo el sistema de ML. El control de versiones de los modelos ayuda a seguir y controlar todos los cambios aplicados a un modelo para que pueda recuperar una versión anterior cuando sea necesario. El seguimiento del linaje proporciona una vista de los flujos de entrada y salida del modelo. Otro beneficio clave del seguimiento del linaje es la point-in-time recuperación (PITR), que automatiza la implementación y la recuperación del sistema.
3.1 Registro de modelos versionados |
En general, un registro de modelos permite el control de versiones y el seguimiento del linaje de los componentes del modelo. Un buen registro puede asociar los metadatos al modelo versionado, lo que incluye los siguientes:
|
3.2 Sesgo, equidad y explicabilidad |
Como mínimo, un sistema de ML debe tener un proceso mediante el cual las predicciones de un modelo sean explicables a otras partes. Los usuarios deben poder verificar si los resultados están sesgados por cada característica. Lo ideal es medir el sesgo de los datos antes de introducirlos en el modelo de ML y registrar estas métricas para las tarjetas del modelo y las auditorías. |
3.3 Seguimiento del linaje: entradas y salidas de datos |
El seguimiento se hace para seguir el flujo de datos que entran y salen del sistema (por ejemplo, desde el lago de datos hasta el proceso de formación). Este seguimiento actúa como un registro a partir del cual se pueden recrear todos los procesos del sistema y proporciona un registro de auditoría para su análisis. |
3.4 Seguimiento del linaje: información del entorno |
Este seguimiento captura la información acerca de la configuración del entorno en tiempo de ejecución, como las imágenes de los contenedores para todo el código del modelo y las dependencias asociadas a los contenedores. |
3.5 Seguimiento del linaje: modelo |
Este seguimiento captura información acerca del modelo. Incluye todo, desde información sobre el algoritmo del modelo hasta los parámetros e hiperparámetros incluidos en el modelo. |
3.6 Integración con la implementación y la supervisión |
El sistema debe estar vinculado de manera directa con los subsistemas de supervisión e implementación del PITR. En el caso de la supervisión, esto significa comparar el rendimiento del modelo con sus ciclos de entrenamiento para detectar el deterioro de la calidad del modelo. Para la implementación, esto es compatible con la PITR y la posibilidad de volver a una versión anterior del modelo según sea necesario. |
3.7 Configuración de parámetros de canalización |
Desde el punto de vista técnico, la configuración de los parámetros de la canalización se incluye en el seguimiento del linaje y en el seguimiento de los experimentos, ya que la configuración de la canalización debe estar versionada y asociada de manera directa a un modelo. La configuración de los parámetros de canalización se detalla en esta sección porque es imprescindible hacer un seguimiento de todas las configuraciones de orquestación del sistema y versionarlas. |
3.8 Los problemas se pueden seguir, depurar y reproducir. |
Un ingeniero puede seguir, depurar y reproducir todos los problemas del sistema sin mucho esfuerzo. Esto implica que existe un nivel suficiente de observabilidad. Esta verificación se basa principalmente en el cumplimiento de los demás elementos de la sección de observabilidad y administración de modelos. |
3.9 Visualización del rendimiento |
El sistema puede capturar y recopilar los registros en un formato tipo base de datos de series temporales e ingerirlos de manera directa en el panel de control. El panel de control proporciona una visión holística de las métricas del modelo y del equipo, con la posibilidad de desglosar y hacer consultas. |
