

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 使用 Amazon SageMaker Studio 從 JumpStart 部署模型
<a name="sagemaker-hyperpod-model-deployment-deploy-js-ui"></a>

下列步驟向您展示如何使用 Amazon SageMaker Studio 從 JumpStart 部署模型。

## 先決條件
<a name="sagemaker-hyperpod-model-deployment-deploy-js-ui-prereqs"></a>

驗證您已在 Amazon SageMaker HyperPod 叢集上設定推論功能。如需詳細資訊，請參閱[設定 HyperPod 叢集以進行模型部署](sagemaker-hyperpod-model-deployment-setup.md)。

## 建立 HyperPod 部署
<a name="sagemaker-hyperpod-model-deployment-deploy-js-ui-create"></a>

1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中開啟 **JumpStart** 登陸頁面。

1. 在**所有公有模型**下，選擇您要部署的模型。
**注意**  
如果已選取門控模型，則您必須接受最終使用者授權合約 (EULA)。

1. 選擇 **SageMaker HyperPod**。

1. 在**部署設定**下，JumpStart 將建議一個執行個體進行部署。如有必要，您可以修改這些設定。

   1. 如果您修改**執行個體類型**，請確定其與所選的 **HyperPod 叢集**相容。如果沒有任何相容的執行個體，您將需要選取新的 **HyperPod 叢集**，或聯絡您的管理員，將相容的執行個體新增至叢集。

   1. 若要排定模型部署的優先順序，請安裝任務治理附加元件、建立運算配置，以及設定叢集政策的任務排名。一旦完成此操作，您應該會看到一個選項，用來為模型部署選取優先順序，這可用於先佔叢集上其他部署和任務的優先權。

   1. 輸入管理員已為您提供其存取權的命名空間。您可能必須直接聯絡您的管理員，以取得確切的命名空間。一旦提供了有效的命名空間，就應啟用**部署**按鈕以部署模型。

   1. 如果您的執行個體類型已分割 (MIG 已啟用），請選取 **GPU 分割區類型**。

   1. 如果您想要啟用 L2 KVCache 或智慧型路由以加速 LLM 推論，請啟用它們。根據預設，只會啟用 L1 KV 快取。如需 KVCache 和智慧型路由的詳細資訊，請參閱 [SageMaker HyperPod 模型部署](sagemaker-hyperpod-model-deployment.md)。

1. 選擇**部署**並等待建立**端點**。

1. 建立了**端點**後，選取**測試推論**。

## 編輯 HyperPod 部署
<a name="sagemaker-hyperpod-model-deployment-deploy-js-ui-edit"></a>

1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中選取**運算**，然後選取 **HyperPod 叢集**。

1. 在**部署**下，選擇您要修改的 HyperPod 叢集部署。

1. 從垂直省略符號圖示 (⋮) 中，選擇**編輯**。

1. 在**部署設定**下，您可以啟用或停用**自動擴展**，並變更**複本數上限**。

1. 選取**儲存**。

1. **狀態**將變更為**更新中**。一旦變更回**服務中**，您的變更即完成，而且您會看到一則確認該變更的訊息。

## 刪除 HyperPod 部署
<a name="sagemaker-hyperpod-model-deployment-deploy-js-ui-delete"></a>

1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中選取**運算**，然後選取 **HyperPod 叢集**。

1. 在**部署**下，選擇您要修改的 HyperPod 叢集部署。

1. 從垂直省略符號圖示 (⋮) 中，選擇**刪除**。

1. 在**刪除 HyperPod 部署視窗**中，選取核取方塊。

1. 選擇 **刪除**。

1. **狀態**將變更為**刪除中**。一旦刪除了 HyperPod 部署，您就會看到確認刪除的訊息。