AI 工作負載的模型執行策略 - AWS 方案指引
Amazon Bedrock：基礎模型即服務Amazon SageMaker Serverless Inference：自訂模型託管在 Amazon Bedrock 和 SageMaker Serverless Inference 之間進行選擇

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AI 工作負載的模型執行策略

任何 AI 架構的核心都是模型執行層，該元件會執行推論、支援預測或產生內容。 AWS 提供兩種強大的無伺服器路徑，用於執行 AI 工作負載：

透過了解何時和如何使用每個項目 AWS 服務，企業可以針對業務需求和營運效率進行最佳化。

Amazon Bedrock：基礎模型即服務

Amazon Bedrock 是一項全受管服務，可從 Anthropic(Claude)Mistral、 Meta (Llama)Cohere、、 Amazon Titan 和 Amazon Nova 等主要 AI 供應商提供 FMs 的無伺服器存取。您可以使用簡單的 API 呼叫與這些模型互動，而不需要佈建基礎設施、管理 GPUs 或微調模型。

Amazon Bedrock 的主要功能包括下列項目：

  • 文字產生 – 摘要、重寫、內容建立和問答。

  • 程式碼產生 – 程式碼的自然語言。

  • 分類和擷取 – 標記、剖析和語意標記。

  • RAG 工作流程 – 整合基礎回應的知識庫。

  • 代理程式 – 啟用自動協同運作和工具使用。

  • 多模態智慧 – 透過 Amazon Nova，了解並跨文字、影像和影片產生。

  • 微調和分割支援 – 透過 Amazon Nova Premier，訓練任務特定的模型或建立精簡的學生模型。

  • 分層效能和成本 – 從 Amazon Nova Micro、Nova Lite、Nova Pro 和 Nova Premier 模型中選取，以平衡延遲、準確性和價格。

Amazon Bedrock 的操作優勢包括下列項目：

  • 模型管理 – 不需要模型託管或版本控制。

  • 安全資料處理 – 隔離的租用戶環境，不對使用者資料進行訓練。

  • 以字符為基礎的計費 – 提供可預測的成本建模。

  • 多模態 API 統一 – 透過相同的 Amazon Bedrock 界面處理跨影像、影片和文字的輸入/輸出。

  • 低延遲選項 – 適用於 Amazon Nova Micro 和 Nova Lite，非常適合用於邊緣和面向使用者的生成式 AI 應用程式。

  • 企業接地相容性 – 所有 Amazon Nova 模型都與 Amazon Bedrock 知識庫和擷取增強生成 (RAG) 架構相容。

Amazon Bedrock 會以下列方式與其他 AWS 服務 和 功能整合：

  • 從 Lambda、Step Functions 或 API Gateway 觸發

  • 與 Amazon Bedrock 代理程式整合，以實現目標驅動型協同運作

  • 可與 Amazon Bedrock 知識庫和 RAG 管道無縫搭配使用

Amazon Bedrock 的理想使用案例

Amazon Bedrock 非常適合各種案例，例如：

  • 生成式 AI 任務 - 建立行銷內容和文件，以及進階聊天機器人。

  • 對話助理 - 建置支援機器人和內部 Copilot。

  • 知識擷取 – 用於摘要和語意搜尋任務。

  • 動態規劃 - 以代理程式為基礎的決策系統。

  • 多模式產生 – 使用 Amazon Nova Canvas 產生影像，並使用 Amazon Nova Reel 從提示和結構化內容產生影片。

  • 企業助理 – 使用 Amazon Nova Pro 啟用以專屬資料為基礎的目標驅動型決策工具。

  • 即時使用者體驗意見回饋 - 使用 Amazon Nova Micro 分析和回應延遲低於 100 毫秒的客戶動作。

Amazon SageMaker Serverless Inference：自訂模型託管

Amazon SageMaker Serverless Inference 專為訓練自己的模型 （例如 XGBoost、PyTorch、 Scikit-learn和 ) 的開發人員和資料科學家而設計TensorFlow。透過使用 SageMaker Serverless Inference，他們可以在可擴展的無伺服器環境中部署模型。

與 Amazon Bedrock 不同，SageMaker Serverless Inference 可讓您控制模型架構、訓練資料和邏輯。

SageMaker Serverless Inference 的主要功能包括下列項目：

  • 託管傳統的 ML 模型，例如分類、迴歸、自然語言處理 (NLP) 和預測

  • 支援多模型端點

  • 支援自動擴展，以便隨需佈建運算，並在閒置時關閉

  • 在自訂容器映像或預先建置的 ML 架構上執行推論

SageMaker Serverless Inference 的操作優勢包括：

  • 零閒置成本Pay-per-inference模型

  • 完全受管的端點，沒有伺服器設定

  • 與訓練管道和筆記本整合

SageMaker Serverless Inference 會以下列方式與其他 AWS 服務 和 功能整合：

  • 使用 AWS Lambda Step Functions 或 SDK 和 API 呼叫來叫用

  • 適用於end-to-end機器學習操作 (MLOps) 的 SageMaker 管道

  • 與 Amazon CloudWatch 整合的日誌和指標

SageMaker Serverless Inference 的理想使用案例

SageMaker Serverless Inference 是各種機器學習應用程式的理想選擇：

  • 預測分析 - 用於銷售預測和流失預測模型。

  • 文字分類 - 支援垃圾郵件偵測和情緒分析等任務。

  • 影像分類 - 啟用文件光學字元辨識 (OCR) 和醫療影像應用程式。

  • 自訂自然語言處理 (NLP) - 處理實體辨識和文件標記任務。

在 Amazon Bedrock 和 SageMaker Serverless Inference 之間進行選擇

Amazon Bedrock 和 SageMaker Serverless Inference 都為可擴展、生產就緒的 AI 執行提供無伺服器路徑。它們共同構成現代、事件驅動、無伺服器 AI 架構的核心執行層 AWS。下表會比較各金鑰維度的這些服務。

維度

Amazon Bedrock

SageMaker 無伺服器推論

模型類型

基礎模型 LLMs)

自訂訓練的 ML 模型

設定工作

最小 （無訓練或託管）

需要模型訓練和封裝

使用案例

生成式、對話式和語意式

預測性、數值和結構化資料

可擴展性

完全無伺服器和自動擴展

完全無伺服器和自動擴展

成本模型

每個字符的付款

按推論付費

整合

API Gateway、Lambda、Amazon Bedrock 代理程式和 RAG

Lambda、Step Functions 和 CI/CD 管道

需要調校

無 （零鏡頭或少量鏡頭）

完全控制 （超參數和重新訓練）

選擇正確的服務取決於 AI 工作負載的性質：

  • 當您需要語意彈性、目標驅動型工作流程，以及使用基礎模型快速迭代時，請使用 Amazon Bedrock。

  • 當您擁有專屬模型、結構化輸入或需要完全控制訓練和部署時，請使用 SageMaker Serverless Inference。

  • 使用 SageMaker JumpStart 從數百種內建演算法中進行選擇，這些演算法具有模型中樞的預先訓練模型，包括 TensorFlow Hub、PyTorchHub、 Hugging Face和 MxNet GluonCV。