本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 模式 3：边缘实时推理
<a name="pattern-real-time-inference"></a>

许多企业用例都要求在交互时做出明智的决策，无论是与客户、机器、车辆还是物联网设备进行交互。在这些场景中，仅限云端的推断是不够的，因为存在以下问题：
+ **延迟限制** — 毫秒对用户体验至关重要，例如个性化、推荐和欺诈检查。
+ **间歇性连接或没有连接** — 工业、农业和医疗保健等远程环境通常无法持续访问云 APIs。
+ **高数据量** — 将大型传感器或图像有效载荷发送到云端进行推断效率低下且成本高昂。
+ **监管要求** — 在某些司法管辖区，敏感数据必须保留在本地。

仅依赖集中式机器学习推理的传统架构会带来延迟，增加成本，并且可能无法在边缘优先的环境中有效地为用户或系统提供服务。

## 边缘推理模式：边缘的实时智能
<a name="section-pattern-edge-inference"></a>

实时边缘推理模式使组织能够使用由管理的服务，在离用户或设备更近的地方运行推理工作负载。 AWS这些服务包括 [AWS IoT Greengrass](https://docs.aws.amazon.com/greengrass/v2/developerguide/what-is-iot-greengrass.html)，它允许在物理边缘设备上进行本地化、支持离线的推理。此外，[Lambda @Edge](https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/lambda-edge-how-it-works.html) 还支持在全球的[亚马逊 CloudFront 边缘站点](https://awsfundamentals.com/blog/aws-edge-locations)执行轻量级人工智能逻辑。

这些无服务器服务可实现即时分布式 AI 体验，可应对连接问题，并符合区域和延迟敏感型要求。

参考架构按如下方式实现每个层：
+ **事件触发器**-通过 CloudFront使用边缘事件（例如传感器读数和设备状态变化）或查看者请求。
+ **处理**-启用本地 Lambda 函数 AWS IoT Greengrass 来格式化输入、提取元数据或过滤噪音。使用 Lambda @Edge 检查标题或地理位置。
+ **推理** — 通过 AWS IoT Greengrass 组件（例如PyTorch或ONNX）部署机器学习模型，或者通过 Lambda @Edge 对 Amazon Bedrock 或[亚马逊 SageMaker 无服务器推理](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)进行远程 API 调用。
+ **后处理 —** 用于 AWS IoT Greengrass 向 MQTT 或 [AWS Io](https://docs.aws.amazon.com/iot/latest/developerguide/iot-device-shadows.html) T 设备影子发布异常检测。使用 Lambda @Edge 对回复进行个性化设置并设置 Cookie。
+ **输出**-同步到 AWS IoT Core、[亚马逊 S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) 或[亚马逊 EventBridge](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-what-is.html)。通过 CloudFront 浏览器或设备仪表板提供响应。

**注意**  
每个层级在缩短响应时间、优化带宽和情报本地化方面都起着作用。

## 边缘推理模式的用例
<a name="section-edge-inference-use-cases"></a>

边缘模式的实时推理支持不同行业的各种实现。以下是两个具有代表性的示例：
+ **工厂设备监控和 AWS IoT Greengrass** — 制造工厂部署网关，通过 AWS IoT Greengrass 这些网关可以检测设备振动中的异常。该模型在本地运行，实时提醒操作员，并且仅将摘要数据发送到云端。
+ **个性化网页内容和 Lambda @Edge** — 一家电子商务网站使用 Lambda @Edge 来分析传入请求中的 Cookie 和标头。Lambda @Edge 帮助网站在不到 50 毫秒的时间内提供个性化推荐和产品图片，无需后端往返。

## 边缘安全和管理最佳实践
<a name="section-edge-security-practices"></a>

[IoT Greengrass 和 Lambda @Edge 都与 (IAM) 和亚马逊完全[AWS Identity and Access Management](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html)集成。 AWS IoT Core CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/WhatIsCloudWatch.html)主要最佳实践包括以下内容：
+  AWS IoT Greengrass 组件的代码签名和验证
+ Lambda 的区域交通检查和记录 @Edge
+ 使用 Amazon S3 存储桶以及持续集成和持续部署 over-the-air (CI/CD) 管道进行安全 (OTA) 模型更新
+ 精细化的 IAM 角色可限制边缘的数据访问

## 比较 AWS IoT Greengrass 和 Lambda @Edge
<a name="section-edge-comparison-gg-lambda"></a>

下表比较了边缘推断背景下 AWS IoT Greengrass 和 Lambda @Edge 的关键操作方面。


| 
| 
| **考虑** | **AWS IoT Greengrass** | **Lambda@Edge** | 
| --- |--- |--- |
| 离线工作 | 是 | 否 | 
| 处理本地传感器和执行器数据 | 是 | 否 | 
| 有利于全球网络个性化 | 否 | 是 | 
| 支持 AI 模型 | 完整的局部推理 | 轻量级逻辑和云 API 调用 | 
| 与 Amazon Bedrock 或 SageMaker 无服务器推理集成 | 通过异步同步和日志记录 | 通过 Amazon API Gateway 回退或缓存 | 

通过使用这种模式，企业可以将人工智能嵌入最需要的地方，包括车间、现场、浏览器或全球各地。边缘模式的实时推断对于以下方面至关重要：
+ 具有低延迟、高可用性要求的应用程序 
+ 远程或高吞吐量环境中的边缘设备 
+ 位置至关重要的全球消费者体验

通过将设备端智能与靠近用户的 Lambda @Edge 相结合 AWS IoT Greengrass ，实现强大的无服务器方法 AWS ，实现可扩展、弹性且经济实惠的边缘 AI。

## 边缘推理模式的商业价值
<a name="section-edge-inference-business-value"></a>

边缘推断模式在以下领域提供了价值：
+ **性能**-针对面向用户的应用程序或时间要求严格的自动化，实现低于 100 毫秒的推理
+ **可靠性**-无需连接即可运行，这对于物联网或远程部署尤其重要
+ **节省带宽** — 将原始数据保存在本地，仅将有意义的事件推送到云端
+ **合规** — 在本地维护推理和数据，以遵守区域治理，例如《通用数据保护条例》(GDPR) 和《1996 年健康保险便携性和责任法案》(HIPAA)
+ **成本控制** — 最大限度地减少云资源使用量和非必要网络流量