模式 3：邊緣的即時推論 - AWS 方案指引
邊緣推論模式：邊緣的即時智慧邊緣推論模式的使用案例邊緣的安全和管理最佳實務比較 AWS IoT Greengrass 和 Lambda@Edge邊緣推論模式的商業價值

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

模式 3：邊緣的即時推論

許多企業使用案例在互動時需要智慧型決策，無論該互動是與客戶、機器、車輛或 IoT 裝置互動。在這些情況下，純雲端推論不夠，因為下列問題：

  • 延遲限制 – 使用者體驗中的毫秒很重要，例如個人化、建議和詐騙檢查。

  • 間歇性或無連線 – 工業、農業和醫療保健等遠端環境通常缺乏對雲端 APIs一致存取。

  • 高資料量 – 將大型感應器或影像承載傳送至雲端進行推論效率低且成本高昂。

  • 法規要求 – 在某些司法管轄區，敏感資料必須保留在本機。

僅依賴集中式 ML 推論的傳統架構會導致延遲、增加成本，並且可能無法在邊緣優先環境中有效地為使用者或系統提供服務。

邊緣推論模式：邊緣的即時智慧

即時邊緣推論模式可讓組織使用 管理的服務，執行更接近使用者或裝置的推論工作負載 AWS。這些服務包括 AWS IoT Greengrass，允許在實體邊緣裝置上進行本機、離線功能的推論。此外，Lambda@Edge 可在全球 Amazon CloudFront 節點執行輕量型 AI 邏輯。

這些無伺服器服務可實現即時的分散式 AI 體驗、對連線問題的彈性，以及符合區域性和延遲敏感需求。

參考架構實作每一層，如下所示：

  • 事件觸發 – 透過 CloudFront 使用邊緣事件 （例如感應器讀取和裝置狀態變更） 或檢視器請求。

  • 處理 – 在 實作本機 Lambda 函數 AWS IoT Greengrass ，以格式化輸入、擷取中繼資料或篩選雜訊。使用 Lambda@Edge 檢查標頭或地理位置。

  • 推論：透過 AWS IoT Greengrass 元件 （例如 PyTorch或 ONNX) 部署 ML 模型，或透過 Lambda@Edge 對 Amazon Bedrock 或 Amazon SageMaker Serverless Inference 進行遠端 API 呼叫。

  • 後置處理 – 用來 AWS IoT Greengrass 將異常偵測發佈至 MQTT 或 AWS IoT 裝置陰影。使用 Lambda@Edge 來個人化回應並設定 Cookie。

  • 輸出 – 同步至 AWS IoT Core、Amazon S3 或 Amazon EventBridge。透過 CloudFront 將回應提供給瀏覽器或裝置儀表板。

注意

每個層在縮短回應時間、最佳化頻寬和在地化智慧方面都扮演著重要角色。

邊緣推論模式的使用案例

邊緣模式的即時推論支援跨不同產業的各種實作。以下是兩個代表性範例：

  • 工廠設備監控和 AWS IoT Greengrass – 製造工廠部署 啟用的閘道 AWS IoT Greengrass ，以偵測設備振動中的異常。模型會在本機執行，即時提醒運算子，而且只會傳送摘要資料至雲端。

  • 個人化 Web 內容和 Lambda@Edge – 電子商務網站使用 Lambda@Edge 來分析傳入請求的 Cookie 和標頭。Lambda@Edge 可協助網站在 50 毫秒內提供個人化的建議和產品映像，無需後端往返。

邊緣的安全和管理最佳實務

IoT Greengrass 和 Lambda@Edge 都與 AWS Identity and Access Management(IAM) AWS IoT Core和 Amazon CloudWatch 完全整合。主要最佳實務包括下列項目：

  • AWS IoT Greengrass 元件的程式碼簽署和驗證

  • Lambda@Edge 的區域流量檢查和記錄

  • 使用 Amazon S3 儲存貯體和持續整合和持續部署 (CI/CD) 管道保護over-the-air (OTA) 模型更新

  • 精細的 IAM 角色，以限制邊緣的資料存取

比較 AWS IoT Greengrass 和 Lambda@Edge

下表比較 AWS IoT Greengrass 和 Lambda@Edge 在邊緣推論內容中的關鍵操作層面。

考量事項

AWS IoT Greengrass

Lambda@Edge

離線運作

是

否

處理本機感應器和致動器資料

是

否

適用於全球 Web 個人化

否

是

支援 AI 模型

完整本機推論

輕量型邏輯和雲端 API 呼叫

與 Amazon Bedrock 或 SageMaker Serverless Inference 整合

透過非同步同步和記錄

透過 Amazon API Gateway 備用或快取

透過使用此模式，企業可以將 AI 嵌入到最需要的地方、商店現場、現場、瀏覽器或全球。邊緣模式的即時推論對於下列項目至關重要：

  • 具有低延遲、高可用性要求的應用程式

  • 遠端或高輸送量環境中的邊緣裝置

  • 位置重要的全球消費者體驗

透過 AWS IoT Greengrass 將裝置內智慧與 Lambda@Edge 結合以接近使用者， 為可擴展性、彈性和經濟實惠的邊緣 AI AWS 啟用強大、無伺服器的方法。

邊緣推論模式的商業價值

邊緣推論模式會在下列區域中提供值：

  • 效能 – 實現使用者面向應用程式或時間關鍵自動化的 100 毫秒以下推論

  • 可靠性 – 在沒有連線的情況下運作，這對於 IoT 或遠端部署特別重要

  • 頻寬節省 – 將原始資料保留在本機，並僅將有意義的事件推送至雲端

  • 合規 – 在本機維護推論和資料，以符合區域控管，例如 1996 年一般資料保護法規 (GDPR) 和健康保險流通與責任法案 (HIPAA)

  • 成本控制 – 盡可能減少不必要的雲端資源用量和網路流量