本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 训练
<a name="training"></a>

MLOps 关注机器学习生命周期的运营化。因此，它必须促进数据科学家和数据工程师的工作，以创建务实的模型，这些模型可以满足业务需求并长期运行良好，而不会产生技术债务。

遵循本节中的最佳实践，以帮助解决模型训练难题。

**Topics**
+ [创建基线模型](#baseline-model)
+ [使用以数据为中心的方法和错误分析](#error-analysis)
+ [设计您的模型以实现快速迭代](#fast-iteration)
+ [追踪您的机器学习实验](#tracking)
+ [对训练作业进行故障排除](#troubleshooting)

## 创建基线模型
<a name="baseline-model"></a>

当从业者面临机器学习解决方案的业务问题时，他们通常首先倾向于使用该 state-of-the-art算法。这种做法是有风险的，因为该 state-of-the-art算法可能还没有经过时间考验。此外，该 state-of-the-art算法通常更复杂且不太为人所知，因此与更简单的替代模型相比，它可能只会带来微不足道的改进。更好的做法是创建一个基准模型，该模型的验证和部署速度相对较快，并且可以赢得项目利益相关者的信任。

创建基线时，我们建议您尽可能评估其指标性能。将基准模型的性能与其他自动化或手动系统进行比较，以保证其成功，并确保模型实施或项目可以在中长期内交付。

应与机器学习工程师一起进一步验证基准模型，以确认该模型可以满足为项目确定的非功能性要求，例如推理时间、数据预计移动分布的频率、在这些情况下是否可以轻松地对模型进行再训练，以及如何部署，这将影响解决方案的成本。获取有关这些问题的多学科观点，以增加开发成功且长期运行的模型的机会。

数据科学家可能倾向于在基线模型中添加尽可能多的特征。尽管这提高了模型预测预期结果的能力，但其中一些功能可能只会增加指标改进。许多功能，尤其是那些高度相关的功能，可能是多余的。添加太多功能会增加成本，因为它需要更多的计算资源和调整。特征过多也会影响模型的 day-to-day操作，因为数据漂移的可能性更大，或者发生得更快。

假设一个模型，其中两个输入特征高度相关，但只有一个特征具有因果关系。例如，预测贷款是否会违约的模型可能具有客户年龄和收入等输入特征，这些特征可能高度相关，但只能使用收入来发放或拒绝贷款。基于这两个特征训练的模型可能依赖于没有因果关系的特征（例如年龄）来生成预测输出。如果模型在投入生产后，收到的客户年龄大于或小于训练集所含平均年龄的推理请求，则其性能可能会开始不佳。

此外，每个特征在生产过程中都可能出现分布偏移，从而导致模型出现意外行为。出于这些原因，模型的特征越多，它在漂移和陈旧方面就越脆弱。

数据科学家应使用相关性度量和 [Shapley 值](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-shapley-values.html)来衡量哪些特征为预测增加了足够的价值，哪些特征应该保留。拥有如此复杂的模型会增加出现反馈回路的机会，在这种回路中，模型会改变建模的环境。一个例子是推荐系统，在这种系统中，消费者行为可能会因为模型的推荐而改变。跨模型作用的反馈回路不太常见。例如，考虑一个推荐电影的推荐系统，以及另一个推荐书籍的系统。如果两种模式都针对同一组消费者，它们就会相互影响。

对于您开发的每个模型，请考虑哪些因素可能影响这些动态，以便您知道在生产中要监控哪些指标。

## 使用以数据为中心的方法和错误分析
<a name="error-analysis"></a>

如果您使用简单的模型，您的机器学习团队可以专注于改进数据本身，并采用以数据为中心的方法而不是以模型为中心的方法。如果您的项目使用非结构化数据，例如图像、文本、音频和其他可以由人类评估的格式（与结构化数据相比，结构化数据可能更难有效地映射到标签），则要获得更好的模型性能，一个好的做法是进行错误分析。

错误分析包括评估验证集上的模型并检查最常见的错误。这有助于识别模型可能难以正确处理的潜在相似数据样本组。要执行误差分析，您可以列出预测误差更高的推论，或者将一个类别的样本预测为来自另一个类别的样本的误差进行排名。

## 设计您的模型以实现快速迭代
<a name="fast-iteration"></a>

当数据科学家遵循最佳实践时，他们可以在概念验证甚至再训练期间轻松快速地尝试新算法或混合和匹配不同的功能。这项实验有助于成功生产。一个好的做法是在基线模型的基础上构建，采用稍微复杂一点的算法，迭代添加新功能，同时监控训练和验证集的性能，将实际行为与预期行为进行比较。该训练框架可以提供预测能力的最佳平衡，并有助于使模型尽可能简单，同时减少技术债务足迹。

为了实现快速迭代，数据科学家必须交换不同的模型实现，以确定用于特定数据的最佳模型。如果您的团队规模庞大，截止日期短，并且还有其他与项目管理相关的后勤工作，那么如果没有适当的方法，则很难快速迭代。

在软件工程中，[Liskov替换原理](https://en.wikipedia.org/wiki/Liskov_substitution_principle)是一种设计软件组件之间交互的机制。该原则指出，您应该能够在不破坏客户端应用程序或实现的情况下将接口的一个实现替换为另一种实现。当你为机器学习系统编写训练代码时，你可以利用这个原理来建立边界并封装代码，这样你就可以轻松地替换算法，更有效地尝试新的算法。

例如，在以下代码中，您可以通过添加新的类实现来添加新的实验。

```
from abc import ABC, abstractmethod

from pandas import DataFrame


class ExperimentRunner(object):

    def __init__(self, *experiments):
        self.experiments = experiments

    def run(self, df: DataFrame) -> None:
        for experiment in self.experiments:
            result = experiment.run(df)
            print(f'Experiment "{experiment.name}" gave result {result}')


class Experiment(ABC):

    @abstractmethod
    def run(self, df: DataFrame) -> float:
        pass

    @property
    @abstractmethod
    def name(self) -> str:
        pass


class Experiment1(Experiment):

    def run(self, df: DataFrame) -> float:
        print('performing experiment 1')
        return 0

    def name(self) -> str:
        return 'experiment 1'


class Experiment2(Experiment):

    def run(self, df: DataFrame) -> float:
        print('performing experiment 2')
        return 0

    def name(self) -> str:
        return 'experiment 2'


class Experiment3(Experiment):

    def run(self, df: DataFrame) -> float:
        print('performing experiment 3')
        return 0

    def name(self) -> str:
        return 'experiment 3'


if __name__ == '__main__':
    runner = ExperimentRunner(*[
        Experiment1(),
        Experiment2(),
        Experiment3()
    ])
    df = ...
    runner.run(df)
```

## 追踪您的机器学习实验
<a name="tracking"></a>

当你进行大量实验时，重要的是要衡量你观察到的改进是实施的变化还是偶然的产物。您可以使用 [Amazon SageMaker AI Ex](https://aws.amazon.com/blogs/aws/amazon-sagemaker-experiments-organize-track-and-compare-your-machine-learning-trainings/) periments 轻松创建实验，并将元数据与实验关联起来，以便跟踪、比较和评估。

降低模型构建过程的随机性对于调试、故障排除和改善治理非常有用，因为在给定相同的代码和数据的情况下，您可以更确定地预测输出模型的推断。

由于随机权重初始化、并行计算同步性、GPU 内部复杂性以及类似的非确定性因素，通常不可能使训练代码完全可复制。但是，正确设置随机种子，确保每次训练都从同一点开始并且行为相似，可以显著提高结果的可预测性。

## 对训练作业进行故障排除
<a name="troubleshooting"></a>

在某些情况下，即使是非常简单的基线模型，数据科学家也可能很难拟合。在这种情况下，他们可能会决定需要一种能够更好地拟合复杂函数的算法。一个好的测试方法是使用数据集中很小一部分（例如，大约 10 个样本）的基线来确保算法过度适合此样本。这有助于排除数据或代码问题。

另一个用于调试复杂场景的有用工具是 [Amazon SageMaker AI Debugger](https://docs.aws.amazon.com/sagemaker/latest/dg/train-debugger.html)，它可以捕获与算法正确性和基础设施相关的问题，例如最佳计算使用率。