3. 可观测性和模型管理

3.1 版本化模型注册表

通常，模型注册表支持模型组件的版本控制和链路跟踪。良好的注册表可以将元数据与版本化模型关联，包括：

3.2 偏差、公平性和可解释性

机器学习系统至少应该有一个可以向其他各方解释模型预测的过程。用户应该能够检查每个特征的结果是否存在偏差。理想情况下，在将数据输入机器学习模型之前测量数据偏差，并记录这些指标以供模型卡片和审计。

3.3 链路跟踪：数据输入和输出

已建立跟踪机制，以跟踪数据在系统内外的流动情况（例如从数据湖到训练管线的运行情况）。此跟踪起到记录的作用，可以从中重新创建所有系统进程，并提供审计跟踪记录以供分析。

3.4 链路跟踪：环境信息

此跟踪捕获有关运行时环境设置的信息，例如所有模型代码的容器映像以及容器的关联依赖关系。

3.5 链路跟踪：模型

此跟踪捕获有关模型的信息。其中包括从模型算法信息到进入模型的参数和超参数的所有内容。

3.6 与部署和监控集成

此系统应直接与 PITR 的监控和部署子系统相连。对于监控，这意味着根据模型的训练运行来测试模型的性能，以检测模型质量下降。对于部署，它支持 PITR，并能够根据需要回滚到以前的模型版本。

3.7 管线参数配置

从技术上讲，管线参数配置既属于链路跟踪又属于试验跟踪，因为管线配置必须受版本控制并与模型直接关联。本节列出了管线参数配置，因为必须跟踪所有系统编排配置并对其进行版本控制。

3.8 问题是可追踪、可调试和可重现的。

工程师可以毫不费力地跟踪、调试和重现系统中的所有问题。这意味着已具备足够的可观测性。该检查主要源于完成“可观测性和模型管理”部分下的其他项目。

3.9 性能可视化

系统可以捕获日志并将其收集为时间序列数据库类型格式，然后将其直接摄取到控制面板中。控制面板提供了模型和计算机指标的整体视图，并能够进行深入分析和查询。