Amazon SageMaker 合作夥伴 AI 應用程式概觀
透過 Amazon SageMaker 合作夥伴 AI 應用程式，使用者可以存取由業界領先的應用程式提供者建置、發佈和分發的生成式 AI 和機器學習 (ML) 開發應用程式。合作夥伴 AI 應用程式已通過認證，可在 SageMaker AI 上執行。透過合作夥伴 AI 應用程式，使用者可以加速並改善他們根據基礎模型 (FM) 和傳統 ML 模型建置解決方案的方式，而不會影響敏感資料的安全性。資料會完全保留在其信任的安全組態內，而且永遠不會與第三方共用。
運作方式
合作夥伴 AI 應用程式是完整的應用程式堆疊，其中包含 Amazon Elastic Kubernetes Service 叢集和一系列隨附的服務，其中可以包含 Application Load Balancer、Amazon Relational Database Service、Amazon Simple Storage Service 儲存貯體、Amazon Simple Queue Service 佇列，以及 Redis 快取。
這些服務應用程式可以與 SageMaker AI 網域中的所有使用者共用，並由管理員佈建。透過 AWS Marketplace 購買訂閱來佈建應用程式後，管理員可以授予 SageMaker AI 網域中的使用者許可，使其可直接從 Amazon SageMaker Studio、Amazon SageMaker Unified Studio (預覽) 或使用預先簽章的 URL 存取合作夥伴 AI 應用程式。如需從 Studio 啟動應用程式的相關資訊，請參閱啟動 Amazon SageMaker Studio。
合作夥伴 AI 應用程式為管理員和使用者提供下列優勢。
-
管理員使用 SageMaker AI 主控台來瀏覽、探索、選取和佈建合作夥伴 AI 應用程式，以供其資料科學和 ML 團隊使用。部署合作夥伴 AI 應用程式後，SageMaker AI 會在服務管理的 AWS 帳戶 上執行它們。這可大幅降低與建置和操作這些應用程式相關的操作額外負荷，並對客戶資料的安全性和隱私權做出貢獻。
-
資料科學家和 ML 開發人員可以從 Amazon SageMaker Studio 或 Amazon SageMaker Unified Studio (預覽) 中的 ML 開發環境內存取合作夥伴 AI 應用程式。他們可以使用合作夥伴 AI 應用程式來分析其在 SageMaker AI 上建立的資料、實驗和模型。這會將內容切換降至最低，並協助加速建置基礎模型，並將新的生成式 AI 功能帶至市場。
與 AWS 服務 的整合
合作夥伴 AI 應用程式會使用現有的 AWS Identity and Access Management (IAM) 組態進行授權和驗證。因此，使用者不需要提供個別的憑證，即可從 Amazon SageMaker Studio 存取每個合作夥伴 AI 應用程式。如需使用合作夥伴 AI 應用程式進行授權和驗證的詳細資訊，請參閱設定合作夥伴 AI 應用程式。
合作夥伴 AI 應用程式也會與 Amazon CloudWatch 整合，以提供操作監控和管理。客戶也可以瀏覽合作夥伴 AI 應用程式，並從 AWS 管理主控台 取得其詳細資訊，例如功能、客戶體驗和定價。如需 Amazon CloudWatch 的相關資訊，請參閱 Amazon CloudWatch 的運作方式。
支援的 類型
合作夥伴 AI 應用程式支援下列類型：
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
當管理員啟動合作夥伴 AI 應用程式時，他們必須選取合作夥伴 AI 應用程式啟動時所用的執行個體叢集組態。此組態稱為合作夥伴 AI 應用程式層。合作夥伴 AI 應用程式層可以是下列其中一個值：
-
small -
medium -
large
以下各節提供每個合作夥伴 AI 應用程式類型的相關資訊，以及合作夥伴 AI 應用程式層值的詳細資訊。
Comet 為 AI 開發人員提供端對端模型評估平台，其中包含 LLM 評估、實驗追蹤和生產監控。
我們根據工作負載建議下列合作夥伴 AI 應用程式層：
-
small– 建議用於最多 5 個使用者和 20 個執行中任務。 -
medium– 建議用於最多 50 個使用者和 100 個執行中任務。 -
large– 建議用於最多 500 個使用者和超過 100 個執行中任務。
注意
SageMaker AI 不支援檢視 Comet UI，做為 Jupyter 筆記本輸出的一部分。
AI 應用程式開發人員和利益相關者可以使用 Deepchecks 在整個生命週期 (從部署前和內部實驗到生產) 中持續驗證 LLM 型應用程式，包括特性、效能指標和潛在缺陷。
我們根據工作負載所需的速度建議下列合作夥伴 AI 應用程式層：
-
small– 每秒處理 200 個字符。 -
medium– 每秒處理 500 個字符。 -
large– 每秒處理 1300 個字符。
Fiddler AI 可觀測性平台有助於驗證、監控和分析生產環境中的 ML 模型，包括表格式、深度學習、電腦視覺和自然語言處理模型。
我們根據工作負載所需的速度建議下列合作夥伴 AI 應用程式層：
-
small– 在 5 個模型、100 個功能和 20 個迭代中處理 10MM 個事件大約需要 53 分鐘。 -
medium– 在 5 個模型、100 個功能和 20 個迭代中處理 10MM 個事件大約需要 23 分鐘。 -
large– 在 5 個模型、100 個功能和 100 個迭代中處理 10MM 個事件大約需要 27 分鐘。
Lakera Guard 是一種低延遲 AI 應用程式防火牆，可保護生成式 AI 應用程式免受世代 AI 特定的威脅。
我們根據工作負載建議下列合作夥伴 AI 應用程式層：
-
small– 建議用於最多 20 個機器人流程自動化 (RPA)。 -
medium– 建議用於最多 100 個 RPA。 -
large– 建議用於最多 200 個 RPA。
