Edge AI 和全域推論分佈 - AWS 方案指引
Lambda@Edge：CDN 層的全域推論AWS IoT Greengrass：邊緣的本機推論全域和本機 AI：分層執行策略邊緣 AI 摘要

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Edge AI 和全域推論分佈

雖然雲端推論適用於大多數的企業使用案例，但某些案例需要即時回應、離線功能或接近資料來源或使用者。在這些情況下，在裝置上或附近執行 AI 邏輯的邊緣 AI 為無伺服器雲端架構提供了強大的補充。

AWS 透過兩種金鑰無伺服器技術支援邊緣 AI：

  • Lambda@Edge 使用 Amazon CloudFront 在 AWS 節點全域執行推論邏輯。

    範例 – 全球電子商務網站使用 Lambda@Edge 函數，根據使用者位置和語言來個人化首頁內容。因此，它可立即從最近的 CloudFront 節點提供量身打造的體驗。

  • AWS IoT Greengrass 在連線裝置上啟用本機 AI 執行。

    範例 – 智慧設備使用與 一起部署的模型 AWS IoT Greengrass 進行即時診斷，在需要時或連線允許時將洞見同步至雲端。

這些技術共同將無伺服器 AI 的範圍擴展到低延遲、頻寬敏感或離線環境，以及全域分佈的使用者群。

Lambda@Edge：CDN 層的全域推論

透過使用 Lambda@Edge，開發人員可以在 CloudFront 節點執行 AWS Lambda 函數。此方法可降低最終使用者的延遲，並啟用內容感知和超快速的 AI 體驗。

Lambda@Edge 的主要功能包括下列項目：

  • 在 CDN 層執行邏輯以回應 CloudFront 事件，例如檢視器請求和原始伺服器回應

  • 根據使用者、位置和裝置自訂網頁個人化和建議等內容

  • 將 AI 推論直接整合到內容交付中，而無需路由到中央 AWS 區域

  • 無需佈建基礎設施即可進行全球部署

Lambda@Edge 的使用案例範例

Lambda@Edge 啟用下列金鑰使用案例：

  • 電子商務個人化 – 根據使用者 ID 和行為提供動態產品建議。

  • 媒體串流 – 根據區域政策調整建議和父控制項。

  • 行銷活動 – 為每個位置自訂橫幅、內容和優惠。

  • 多語言使用者體驗 (UX) – 偵測使用者位置和語言，以內嵌提供 Amazon Bedrock LLM 翻譯的內容。

透過盡可能靠近使用者放置推論邏輯，Lambda@Edge 支援超個人化 AI 驅動的前端交付，非常適合大規模消費者應用程式。

Lambda@Edge 通常與 Amazon Bedrock 或 SageMaker Serverless Inference 搭配使用，方法是使用非同步路由和快取策略來結合速度與智慧。

AWS IoT Greengrass：邊緣的本機推論

AWS IoT Greengrass 是一種輕量型執行時間，客戶可用來執行 Lambda 函數、ML 推論和自訂程式碼。它在邊緣裝置上運作，例如工業控制器、攝影機、醫療裝置或智慧型設備。

的主要功能 AWS IoT Greengrass 包括下列項目：

  • 即使從雲端中斷連線，也會在本機執行 Lambda 函數。

  • 封裝 ML 模型 （透過 SageMaker 或自訂訓練），以直接在裝置上執行推論。

  • 透過安全的over-the-air部署和組態管理來簡化更新。

  • 與 AWS 服務 （例如，Amazon S3 AWS IoT Core和 Amazon CloudWatch) 整合，以進行集中式監控。

的使用案例範例 AWS IoT Greengrass

AWS IoT Greengrass 在多個產業的邊緣啟用推論應用程式，如下所示：

  • 製造 – 無需雲端往返即可偵測攝影機輸入的瑕疵。

  • 醫療保健 – 在具有間歇性連線的診所中監控患者並執行診斷。

  • 農業 – 使用空拍機鏡頭分類裁剪條件。

  • 能源 – 使用異常偵測模型來監控管道和渦輪機。

AWS IoT Greengrass 可讓這些工作負載快速、有彈性且不受雲端延遲影響，同時仍提供雲端管理、可觀測性和同步。透過使用 AWS IoT Greengrass，開發人員可以部署雲端中使用的相同 Lambda 函數，在集中和分散式系統中建立連續性。

全域和本機 AI：分層執行策略

企業可以結合 Lambda@Edge 和 AWS IoT Greengrass 來建立分層邊緣 AI 系統。此混合架構可讓您根據延遲敏感度、模型大小、連線能力和合規需求，在正確的 layer 做出智慧型決策。下表說明此架構中的層、 AWS 技術和角色。

層

AWS 技術

技術角色

裝置邊緣

AWS IoT Greengrass

  • 裝置內

  • 離線功能

  • AI 邏輯

  • 感應器資料處理

網路邊緣

Lambda@Edge

  • 內容個人化

  • 使用者附近的輕量型 AI

  • 超低延遲

雲端核心

Amazon Bedrock、Amazon SageMaker Serverless Inference 和 AWS Step Functions

  • 重度 AI 推論

  • 協調

  • 代理程式推理

  • RAG 管道

邊緣 AI 摘要

Edge AI 是無伺服器架構的自然演變，可為連線挑戰帶來低延遲推論、情境個人化和彈性。透過 AWS IoT Greengrass 和 Lambda@Edge，組織可以達成下列目標：

  • 開發人員可以將無伺服器原則延伸到資料中心之外。

  • 企業可以部署和維護更接近使用者和資料來源的 AI 管道。

  • AI 邏輯會變得具備位置感知、自主性和高度可擴展性。

從智慧城市到現場機器人，再到全球媒體交付，AI 越來越普遍。為了支援這種演變，這些 AWS 服務 可以在建置隨處執行的分散式智慧型應用程式時扮演基本角色。