边缘 AI 和全球推理分布 - AWS 规范性指导
Lambda @Edge：CDN 层的全局推理AWS IoT Greengrass: 边缘的局部推理全球和本地 AI：分层执行策略边缘 AI 摘要

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

边缘 AI 和全球推理分布

尽管基于云的推理适用于大多数企业用例，但某些场景需要实时响应、离线功能或靠近数据源或用户。对于这些情况，边缘 AI 在设备上或设备附近执行 AI 逻辑，为无服务器云架构提供了强大的补充。

AWS 通过两种关键的无服务器技术支持边缘 AI：

  • Lambda @Edge 使用亚马逊在 AWS 边缘站点全局运行推理逻辑。 CloudFront

    示例-一家全球电子商务网站使用 Lambda @Edge 函数，根据用户的位置和语言对主页内容进行个性化设置。因此，它可以从最近的 CloudFront 边缘位置立即提供量身定制的体验。

  • AWS IoT Greengrass允许在连接的设备上执行本地 AI。

    示例 — 智能设备使用部署的模型 AWS IoT Greengrass 进行实时诊断，在需要时或连接允许时将见解同步到云端。

这些技术共同将无服务器 AI 的覆盖范围扩展到低延迟、带宽敏感或离线环境以及全球分布的用户群。

Lambda @Edge：CDN 层的全局推理

通过使用 Lambda @Edge，开发人员可以在 CloudFront 边缘位置运行 AWS Lambda 函数。这种方法可以减少最终用户的延迟，并实现情境感知和超快的 AI 体验。

Lambda @Edge 的主要功能包括以下内容：

  • 在 CDN 层运行逻辑以响应诸如观看者请求和源站响应之类 CloudFront 的事件

  • 根据用户、位置和设备自定义网页个性化和推荐等内容

  • 将 AI 推理直接集成到内容交付中，无需路由到中心 AWS 区域

  • 无需配置基础架构即可全球部署

Lambda 的用例示例 @Edge

Lambda @Edge 支持以下关键用例：

  • 电子商务个性化-根据用户 ID 和行为提供动态产品推荐。

  • 媒体流媒体-根据地区政策调整推荐和家长控制。

  • 营销活动-为每个地点自定义横幅、内容和优惠。

  • 多语言用户体验 (UX) — 检测用户位置和语言，以内联方式提供 Amazon Bedrock LLM 翻译的内容。

通过将推理逻辑尽可能靠近用户，Lambda @Edge 支持高度个性化、人工智能驱动的前端交付，非常适合大规模消费类应用程序。

Lambda @Edge 通常与 Amazon Bedrock 或 SageMaker Serverless Inference 配合使用，使用异步路由和缓存策略将速度与智能相结合。

AWS IoT Greengrass: 边缘的局部推理

AWS IoT Greengrass 是一个轻量级运行时，客户可以使用它来运行 Lambda 函数、机器学习推理和自定义代码。它可在工业控制器、相机、医疗设备或智能家电等边缘设备上运行。

的关键功能 AWS IoT Greengrass 包括以下内容：

  • 即使与云断开连接，也可以在本地运行 Lambda 函数。

  • 打包 ML 模型（通过训练 SageMaker 或自定义训练），以便直接在设备上执行推理。

  • 通过安全的 over-the-air部署和配置管理简化更新。

  • 与 AWS 服务 （例如 Amazon S3 和 Amazon CloudWatch）集成 AWS IoT Core，实现集中监控。

的用例示例 AWS IoT Greengrass

AWS IoT Greengrass 支持跨多个行业的边缘推理应用程序，例如：

  • 制造 — 检测摄像机输入中的缺陷，无需云往返。

  • 医疗保健-监控患者并在具有间歇性连接的诊所进行诊断。

  • 农业-使用无人机镜头对作物状况进行分类。

  • 能源-使用异常检测模型监控管道和涡轮机。

AWS IoT Greengrass 使这些工作负载能够快速、有弹性且不受云延迟的影响，同时还能提供云端管理、可观察性和同步性。通过使用 AWS IoT Greengrass，开发人员可以部署云中使用的相同的 Lambda 函数，从而在集中式和分布式系统之间实现连续性。

全球和本地 AI：分层执行策略

企业可以结合使用 Lambda @Edge 和 AWS IoT Greengrass 来创建分层边缘人工智能系统。这种混合架构可以根据延迟敏感度、模型大小、连接性和合规性要求，在正确的层面做出明智的决策。下表描述了此架构中的等级、 AWS 技术和角色。

Tier

AWS 科技

技术角色

设备边缘

AWS IoT Greengrass

  • 在设备上

  • 支持离线使用

  • 人工智能逻辑

  • 传感器数据处理

网络边缘

Lambda@Edge

  • 内容个性化

  • 用户附近的轻量级 AI

  • 超低延迟

云核心

Amazon Bedrock、Amazon SageMaker 无服务器推理和 AWS Step Functions

  • 繁重的 AI 推理

  • 编排

  • 代理推理

  • RAG 管道

边缘 AI 摘要

边缘人工智能是无服务器架构的自然演变，它带来了低延迟推理、情境个性化以及应对连接挑战的弹性。借助 AWS IoT Greengrass 和 Lambda @Edge，组织可以实现以下目标：

  • 开发人员可以将无服务器原理扩展到数据中心之外。

  • 企业可以在更靠近用户和数据源的地方部署和维护 AI 管道。

  • AI 逻辑变得具有位置感知能力、自主性和高度可扩展性。

从智慧城市到野外机器人再到全球媒体交付，人工智能正变得无处不在。为了支持这种演变，它们 AWS 服务 可以在构建可在任何地方运行的分布式智能应用程序方面发挥基础作用。