本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# AI 工作負載的模型執行策略
<a name="model-execution-strategies"></a>

任何 AI 架構的核心都是模型執行層，該元件會執行推論、支援預測或產生內容。 AWS 提供兩種強大的無伺服器路徑，用於執行 AI 工作負載：
+ [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html) 提供對生成式 AI 使用案例的基礎模型 FMs) 的存取權。
+ [Amazon SageMaker Serverless Inference](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html) 可讓傳統機器學習 (ML) 工作負載進行自訂訓練模型的可擴展部署。

透過了解何時和如何使用每個項目 AWS 服務，企業可以針對業務需求和營運效率進行最佳化。

## Amazon Bedrock：基礎模型即服務
<a name="section-model-execution-bedrock"></a>

Amazon Bedrock 是一項全受管服務，可從 Anthropic(Claude)Mistral、 Meta (Llama)Cohere、、 Amazon Titan 和 [Amazon Nova](https://docs.aws.amazon.com/nova/latest/userguide/what-is-nova.html) 等主要 AI 供應商提供 FMs 的無伺服器存取。您可以使用簡單的 API 呼叫與這些模型互動，而不需要佈建基礎設施、管理 GPUs 或微調模型。

Amazon Bedrock 的主要功能包括下列項目：
+ **文字產生** – 摘要、重寫、內容建立和問答。
+ **程式碼產生** – 程式碼的自然語言。
+ **分類和擷取** – 標記、剖析和語意標記。
+ **RAG 工作流程** – 整合基礎回應的知識庫。
+ **代理程式** – 啟用自動協同運作和工具使用。
+ **多模態智慧** – 透過 Amazon Nova，了解並跨文字、影像和影片產生。
+ **微調和分割支援** – 透過 Amazon Nova Premier，訓練任務特定的模型或建立精簡的學生模型。
+ **分層效能和成本** – 從 Amazon Nova Micro、Nova Lite、Nova Pro 和 Nova Premier 模型中選取，以平衡延遲、準確性和價格。

Amazon Bedrock 的操作優勢包括下列項目：
+ **模型管理** – 不需要模型託管或版本控制。
+ **安全資料處理** – 隔離的租用戶環境，不對使用者資料進行訓練。
+ 以**字符為基礎的計費** – 提供可預測的成本建模。
+ **多模態 API 統一** – 透過相同的 Amazon Bedrock 界面處理跨影像、影片和文字的輸入/輸出。
+ **低延遲選項** – 適用於 Amazon Nova Micro 和 Nova Lite，非常適合用於邊緣和面向使用者的生成式 AI 應用程式。
+ **企業接地相容性** – 所有 Amazon Nova 模型都與 Amazon Bedrock 知識庫和擷取增強生成 (RAG) 架構相容。

Amazon Bedrock 會以下列方式與其他 AWS 服務 和 功能整合：
+ 從 Lambda、Step Functions 或 API Gateway 觸發
+ 與 Amazon Bedrock 代理程式整合，以實現目標驅動型協同運作
+ 可與 [Amazon Bedrock 知識庫](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html)和 RAG 管道無縫搭配使用

### Amazon Bedrock 的理想使用案例
<a name="section-model-execution-bedrock-use-cases"></a>

Amazon Bedrock 非常適合各種案例，例如：
+ **生成式 AI 任務** - 建立行銷內容和文件，以及進階聊天機器人。
+ **對話助理** - 建置支援機器人和內部 Copilot。
+ **知識擷取** – 用於摘要和語意搜尋任務。
+ **動態規劃** - 以代理程式為基礎的決策系統。
+ **多模式產生** – 使用 [Amazon Nova Canvas](https://docs.aws.amazon.com/nova/latest/userguide/image-generation.html) 產生影像，並使用 [Amazon Nova Reel](https://docs.aws.amazon.com/nova/latest/userguide/video-generation.html) 從提示和結構化內容產生影片。
+ **企業助理** – 使用 [Amazon Nova Pro](https://docs.aws.amazon.com/nova/latest/userguide/what-is-nova.html) 啟用以專屬資料為基礎的目標驅動型決策工具。
+ **即時使用者體驗意見回饋** - 使用 Amazon Nova Micro 分析和回應延遲低於 100 毫秒的客戶動作。

## Amazon SageMaker Serverless Inference：自訂模型託管
<a name="section-model-execution-sagemaker-serverless"></a>

Amazon SageMaker Serverless Inference 專為訓練自己的模型 （例如 XGBoost、PyTorch、 Scikit-learn和 ) 的開發人員和資料科學家而設計TensorFlow。透過使用 SageMaker Serverless Inference，他們可以在可擴展的無伺服器環境中部署模型。

與 Amazon Bedrock 不同，SageMaker Serverless Inference 可讓您控制模型架構、訓練資料和邏輯。

SageMaker Serverless Inference 的主要功能包括下列項目：
+ 託管傳統的 ML 模型，例如分類、迴歸、自然語言處理 (NLP) 和預測
+ 支援多模型端點
+ 支援自動擴展，以便隨需佈建運算，並在閒置時關閉
+ 在自訂容器映像或預先建置的 ML 架構上執行推論

SageMaker Serverless Inference 的操作優勢包括：
+ 零閒置成本Pay-per-inference模型
+ 完全受管的端點，沒有伺服器設定
+ 與訓練管道和筆記本整合

SageMaker Serverless Inference 會以下列方式與其他 AWS 服務 和 功能整合：
+ 使用 AWS Lambda Step Functions 或 SDK 和 API 呼叫來叫用
+ 適用於end-to-end機器學習操作 (MLOps) 的 SageMaker 管道
+ 與 Amazon CloudWatch 整合的日誌和指標

### SageMaker Serverless Inference 的理想使用案例
<a name="section-model-execution-sagemaker-use-cases"></a>

SageMaker Serverless Inference 是各種機器學習應用程式的理想選擇：
+ **預測分析** - 用於銷售預測和流失預測模型。
+ **文字分類** - 支援垃圾郵件偵測和情緒分析等任務。
+ **影像分類** - 啟用文件光學字元辨識 (OCR) 和醫療影像應用程式。
+ **自訂自然語言處理 (NLP)** - 處理實體辨識和文件標記任務。

## 在 Amazon Bedrock 和 SageMaker Serverless Inference 之間進行選擇
<a name="section-model-execution-comparison"></a>

Amazon Bedrock 和 SageMaker Serverless Inference 都為可擴展、生產就緒的 AI 執行提供無伺服器路徑。它們共同構成現代、事件驅動、無伺服器 AI 架構的核心執行層 AWS。下表會比較各金鑰維度的這些服務。


| 
| 
| **維度** | **Amazon Bedrock** | **SageMaker 無伺服器推論** | 
| --- |--- |--- |
| 模型類型 | 基礎模型 LLMs) | 自訂訓練的 ML 模型 | 
| 設定工作 | 最小 （無訓練或託管） | 需要模型訓練和封裝 | 
| 使用案例 | 生成式、對話式和語意式 | 預測性、數值和結構化資料 | 
| 可擴展性 | 完全無伺服器和自動擴展 | 完全無伺服器和自動擴展 | 
| 成本模型 | 每個字符的付款 | 按推論付費 | 
| 整合 | API Gateway、Lambda、Amazon Bedrock 代理程式和 RAG | Lambda、Step Functions 和 CI/CD 管道 | 
| 需要調校 | 無 （零鏡頭或少量鏡頭） | 完全控制 （超參數和重新訓練） | 

選擇正確的服務取決於 AI 工作負載的性質：
+ 當您需要語意彈性、目標驅動型工作流程，以及使用基礎模型快速迭代時，請使用 Amazon Bedrock。
+ 當您擁有專屬模型、結構化輸入或需要完全控制訓練和部署時，請使用 SageMaker Serverless Inference。
+ 使用 SageMaker JumpStart 從數百種[內建演算法](https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html)中進行選擇，這些演算法具有模型中樞的預先訓練模型，包括 TensorFlow Hub、PyTorchHub、 Hugging Face和 MxNet GluonCV。