本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

执行机器学习推理

借 AWS IoT Greengrass助，您可以使用经过云训练的模型在边缘设备上对本地生成的数据执行机器学习 (ML) 推理。您可以从运行本地推理的低延迟和成本节省中受益，且仍然可以利用云计算在训练模型和复杂处理方面的强大功能。

AWS IoT Greengrass 使执行推理所需的步骤更加高效。您可以在任何地方训练推理模型，并将推理模型作为机器学习组件部署到本地。例如，您可以在 Amazon A SageMaker I 中构建和训练深度学习模型。然后，您可以将这些模型存储在 Amazon S3 存储桶中，这样您就可以将这些模型用作组件中的构件，以便在核心设备上执行推理。

AWS IoT Greengrass 机器学习推理的工作原理

AWS 提供了机器学习组件，您可以使用这些组件来创建一步部署以在设备上执行机器学习推理。您也可以将这些组件用作模板来创建自定义组件以满足您的特定要求。

您为执行机器学习推理而创建的每个部署都至少包含一个组件，用于运行推理应用程序、安装机器学习框架和下载机器学习模型。要使用 AWS提供的组件执行示例推理，您需要将推理组件部署到核心设备，该组件会自动包括相应的模型和运行时组件作为依赖项。要自定义部署，您可以将示例模型组件插入或替换为自定义模型组件，也可以将 AWS提供的组件配方用作模板来创建自己的自定义推理、模型和运行时组件。

要使用自定义组件执行机器学习推理，请执行以下操作：

要开始使用 AWS提供的组件，请参阅教程：使用 TensorFlow Lite 执行样本图像分类推断。

有关创建自定义机器学习组件的信息，请参阅自定义您的机器学习组件。

AWS IoT Greengrass 版本 2 有什么不同？

AWS IoT Greengrass 将机器学习的功能单元（例如模型、运行时和推理代码）整合到组件中，使您能够使用一步式流程安装机器学习运行时、下载经过训练的模型并在设备上执行推理。

通过使用 AWS提供的机器学习组件，您可以灵活地开始使用示例推理代码和预训练模型执行机器学习推理。您可以插入自定义模型组件，将自己的自定义训练模型与提供的推理和运行时组件一起使用。 AWS 对于完全自定义的机器学习解决方案，您可以使用公有组件作为模板来创建自定义组件，并使用所需的任何运行时、模型或推理类型。

要求

要创建和使用机器学习组件，必须具备以下条件：

支持的模型源

AWS IoT Greengrass 支持使用存储在 Amazon S3 中的自定义训练机器学习模型。您还可以使用 Amazon SageMaker AI 边缘打包任务直接为您的 SageMaker AI 新编译模型创建模型组件。有关将 SageMaker AI 边缘管理器与配合使用的信息 AWS IoT Greengrass，请参阅在 Greengrass 核心设备上使用亚马逊 SageMaker AI 边缘管理器。

包含模型的 S3 存储桶必须满足以下要求：

支持的机器学习运行时

AWS IoT Greengrass 允许您创建自定义组件，以便使用您选择的任何机器学习运行时对自定义训练模型执行机器学习推理。有关创建自定义机器学习组件的信息，请参阅自定义您的机器学习组件。

为了提高机器学习入门过程的效率， AWS IoT Greengrass 提供了使用以下机器学习运行时的示例推理、模型和运行时组件：

AWS提供的机器学习组件

下表列出了 AWS提供的用于机器学习的组件。