存取 UI 如何更新部署如何複製部署如何刪除部署使用 Amazon SageMaker AI 做為 LLM 供應商

使用解決方案

存取 UI

在堆疊部署程序期間（適用於部署儀表板和使用案例），電子郵件會傳送至設定的電子郵件地址。電子郵件包含使用者可用來註冊和存取 Web 介面的臨時登入資料。

注意

有權存取 AWS 管理主控台的 DevOps 使用者，必須在堆疊完成時為管理員使用者提供部署儀表板 UI 的 CloudFront URL。

對於使用案例，具有部署儀表板 UI 存取權的管理員使用者，必須在部署完成時為商業使用者提供使用案例 UI 的 CloudFront URL。

登入後，使用者可以與解決方案 UIs 互動，在管理員情況下為部署儀表板，或在商業使用者情況下為使用案例。

如何更新部署

在部署儀表板首頁（或部署的詳細資訊頁面）上，您可以編輯部署所使用的組態。您只能編輯處於 CREATE_COMPLETE 或 UPDATE_COMPLETE 狀態的部署。

除了使用案例名稱之外，所有其他選項都可以編輯部署。只要變更您要編輯並重新部署的值即可。

根據所做的編輯範圍，重新部署時間會有所不同。如果簡易設定已變更（例如，模型參數），則可能需要幾秒鐘的時間，如果較大的基礎設施相關選項已變更，則可能需要超過 30 分鐘的時間（例如，請求為文字使用案例 RAG 建立 Amazon Kendra 索引）。

編輯成功完成後，應用程式狀態將報告 UPDATE_COMPLETE 狀態。目前，您可以透過 CloudFront URL 存取部署的 UI，並與修改後的部署互動。

注意

如果您想要比較不同的設定或 LLMs，可以更輕鬆地side-by-side執行多個部署。使用複製功能快速使用現有的組態來啟動新的部署。

如何複製部署

在部署儀表板首頁（或部署的詳細資訊頁面）上，您可以複製部署所使用的組態。複製部署會啟動部署新的使用案例精靈，但大多數欄位會預先填入相同的值。

這是一項方便的操作，可協助您快速複製具有已變更設定的部署、復原已刪除的部署，或比較其他相同部署中的多個 LLMs。

如何刪除部署

在部署儀表板首頁（或部署的詳細資訊頁面）上，您可以在不再需要部署時將其刪除。刪除部署會叫用 CloudFormation 堆疊刪除操作，並取消佈建部署的資源。

根據預設，已刪除的部署仍會保留在儀表板上，以啟用複製功能。若要從儀表板完全移除部署，以便在 UI 中停止追蹤，請在刪除確認視窗中選擇永久刪除。

重要

某些資源會在堆疊刪除期間保留，且必須手動刪除。如需保留哪些資源以及如何清除這些資源的詳細資訊，請參閱手動解除安裝一節。

使用 Amazon SageMaker AI 做為 LLM 供應商

從 v1.3.0 開始，Amazon SageMaker AI 可作為文字使用案例的模型提供者。此功能可讓您使用解決方案中 AWS 帳戶內已存在的 SageMaker AI 推論端點。以下是一些開始使用的方法。

重要

解決方案不會管理 SageMaker AI 端點的生命週期。您負責刪除不再需要的 SageMaker AI 端點，以停止產生額外費用。

建立 SageMaker AI 端點

您可以使用 Amazon SageMaker AI JumpStart 快速部署端點。

您也可以使用文字產生的 SageMaker AI 端點，並使用基本 SageMaker AI 服務進行部署。如需如何部署模型以進行推論的逐步指南，請參閱 SageMaker AI JumpStart 文件。

注意

基礎模型/LLMs 通常相當大，通常需要使用大型加速運算執行個體。根據預設，您的 AWS 帳戶中可能無法使用這些較大的執行個體。請參閱預設 SageMaker AI 配額，並確保在部署之前請求增加配額，以避免常見的部署失敗。

使用 SageMaker AI 端點建立文字使用案例部署

若要使用 SageMaker AI 端點部署新的文字使用案例以進行推論：

透過部署儀表板精靈建立新的使用案例，並完成表單，直到到達模型選取頁面為止。
在模型頁面上，選取 SageMaker AI 作為模型提供者。這將產生需要三個關鍵使用者輸入的自訂表單：
- 您要使用的 SageMaker AI 端點名稱。DevOps 使用者可以從 AWS 主控台取得此資訊。請注意，端點必須位於部署解決方案所在的相同帳戶和區域中。
  
  AWS 主控台上端點名稱的位置
- 端點預期的輸入承載結構描述。若要支援最廣泛的端點集，管理員使用者必須告知解決方案其端點預期輸入格式化的方式。在模型選擇精靈中，提供要傳送至端點之解決方案的 JSON 結構描述。您可以新增預留位置，將靜態和動態值注入請求承載。可用選項為：
  - 強制預留位置：\<\<prompt\>\> 將動態取代為完整輸入（例如，歷史記錄、內容和根據提示範本的使用者輸入），以在執行時間傳送至 SageMaker AI 端點。
  - 選用預留位置：\<\<temp\>\> *，\* 以及進階模型參數中定義的任何參數都可以提供給端點。任何包含以 \<\< 和 \>\> 括住預留位置的字串（例如，\<\<max_new_tokens\>\>) 都會被相同名稱的進階模型參數值取代。
    
    範例輸入結構描述 - 設定必要欄位、提示和溫度，以及自訂進階參數 max_new_tokens。輸出路徑必須以有效的 JSONPath 字串提供
LLMs 在輸出承載中產生字串回應的位置。這必須以 JSONPath 表達式形式提供，以指出向使用者顯示的最終文字回應預期從端點的傳回物件和回應中存取的位置。

新增要在 SageMaker AI 輸入結構描述中使用的進階模型參數範例（請參閱圖 2 以取得先前的選項/設定）