本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 模式 3：邊緣的即時推論
<a name="pattern-real-time-inference"></a>

許多企業使用案例在互動時需要智慧型決策，無論該互動是與客戶、機器、車輛或 IoT 裝置互動。在這些情況下，純雲端推論不夠，因為下列問題：
+ **延遲限制** – 使用者體驗中的毫秒很重要，例如個人化、建議和詐騙檢查。
+ **間歇性或無連線** – 工業、農業和醫療保健等遠端環境通常缺乏對雲端 APIs一致存取。
+ **高資料量** – 將大型感應器或影像承載傳送至雲端進行推論效率低且成本高昂。
+ **法規要求** – 在某些司法管轄區，敏感資料必須保留在本機。

僅依賴集中式 ML 推論的傳統架構會導致延遲、增加成本，並且可能無法在邊緣優先環境中有效地為使用者或系統提供服務。

## 邊緣推論模式：邊緣的即時智慧
<a name="section-pattern-edge-inference"></a>

即時邊緣推論模式可讓組織使用 管理的服務，執行更接近使用者或裝置的推論工作負載 AWS。這些服務包括 [AWS IoT Greengrass](https://docs.aws.amazon.com/greengrass/v2/developerguide/what-is-iot-greengrass.html)，允許在實體邊緣裝置上進行本機、離線功能的推論。此外，[Lambda@Edge](https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/lambda-edge-how-it-works.html) 可在全球 [Amazon CloudFront 節點](https://awsfundamentals.com/blog/aws-edge-locations)執行輕量型 AI 邏輯。

這些無伺服器服務可實現即時的分散式 AI 體驗、對連線問題的彈性，以及符合區域性和延遲敏感需求。

參考架構實作每一層，如下所示：
+ **事件觸發** – 透過 CloudFront 使用邊緣事件 （例如感應器讀取和裝置狀態變更） 或檢視器請求。
+ **處理** – 在 實作本機 Lambda 函數 AWS IoT Greengrass ，以格式化輸入、擷取中繼資料或篩選雜訊。使用 Lambda@Edge 檢查標頭或地理位置。
+ **推論**：透過 AWS IoT Greengrass 元件 （例如 PyTorch或 ONNX) 部署 ML 模型，或透過 Lambda@Edge 對 Amazon Bedrock 或 [Amazon SageMaker Serverless Inference](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html) 進行遠端 API 呼叫。
+ **後置處理** – 用來 AWS IoT Greengrass 將異常偵測發佈至 MQTT 或 [AWS IoT 裝置陰影](https://docs.aws.amazon.com/iot/latest/developerguide/iot-device-shadows.html)。使用 Lambda@Edge 來個人化回應並設定 Cookie。
+ **輸出** – 同步至 AWS IoT Core、[Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) 或 [Amazon EventBridge](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-what-is.html)。透過 CloudFront 將回應提供給瀏覽器或裝置儀表板。

**注意**  
每個層在縮短回應時間、最佳化頻寬和在地化智慧方面都扮演著重要角色。

## 邊緣推論模式的使用案例
<a name="section-edge-inference-use-cases"></a>

邊緣模式的即時推論支援跨不同產業的各種實作。以下是兩個代表性範例：
+ **工廠設備監控和 AWS IoT Greengrass** – 製造工廠部署 啟用的閘道 AWS IoT Greengrass ，以偵測設備振動中的異常。模型會在本機執行，即時提醒運算子，而且只會傳送摘要資料至雲端。
+ **個人化 Web 內容和 Lambda@Edge** – 電子商務網站使用 Lambda@Edge 來分析傳入請求的 Cookie 和標頭。Lambda@Edge 可協助網站在 50 毫秒內提供個人化的建議和產品映像，無需後端往返。

## 邊緣的安全和管理最佳實務
<a name="section-edge-security-practices"></a>

IoT Greengrass 和 Lambda@Edge 都與 [AWS Identity and Access Management](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html)(IAM) AWS IoT Core和 [Amazon CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/WhatIsCloudWatch.html) 完全整合。主要最佳實務包括下列項目：
+  AWS IoT Greengrass 元件的程式碼簽署和驗證
+ Lambda@Edge 的區域流量檢查和記錄
+ 使用 Amazon S3 儲存貯體和持續整合和持續部署 (CI/CD) 管道保護over-the-air (OTA) 模型更新
+ 精細的 IAM 角色，以限制邊緣的資料存取

## 比較 AWS IoT Greengrass 和 Lambda@Edge
<a name="section-edge-comparison-gg-lambda"></a>

下表比較 AWS IoT Greengrass 和 Lambda@Edge 在邊緣推論內容中的關鍵操作層面。


| 
| 
| **考量事項** | **AWS IoT Greengrass** | **Lambda@Edge** | 
| --- |--- |--- |
| 離線運作 | 是 | 否 | 
| 處理本機感應器和致動器資料 | 是 | 否 | 
| 適用於全球 Web 個人化 | 否 | 是 | 
| 支援 AI 模型 | 完整本機推論 | 輕量型邏輯和雲端 API 呼叫 | 
| 與 Amazon Bedrock 或 SageMaker Serverless Inference 整合 | 透過非同步同步和記錄 | 透過 Amazon API Gateway 備用或快取 | 

透過使用此模式，企業可以將 AI 嵌入到最需要的地方、商店現場、現場、瀏覽器或全球。邊緣模式的即時推論對於下列項目至關重要：
+ 具有低延遲、高可用性要求的應用程式 
+ 遠端或高輸送量環境中的邊緣裝置 
+ 位置重要的全球消費者體驗

透過 AWS IoT Greengrass 將裝置內智慧與 Lambda@Edge 結合以接近使用者， 為可擴展性、彈性和經濟實惠的邊緣 AI AWS 啟用強大、無伺服器的方法。

## 邊緣推論模式的商業價值
<a name="section-edge-inference-business-value"></a>

邊緣推論模式會在下列區域中提供值：
+ **效能** – 實現使用者面向應用程式或時間關鍵自動化的 100 毫秒以下推論
+ **可靠性** – 在沒有連線的情況下運作，這對於 IoT 或遠端部署特別重要
+ **頻寬節省** – 將原始資料保留在本機，並僅將有意義的事件推送至雲端
+ **合規** – 在本機維護推論和資料，以符合區域控管，例如 1996 年一般資料保護法規 (GDPR) 和健康保險流通與責任法案 (HIPAA)
+ **成本控制** – 盡可能減少不必要的雲端資源用量和網路流量