使用 Amazon SageMaker Studio 從 JumpStart 部署模型 - Amazon SageMaker AI
先決條件建立 HyperPod 部署編輯 HyperPod 部署刪除 HyperPod 部署

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Amazon SageMaker Studio 從 JumpStart 部署模型

下列步驟向您展示如何使用 Amazon SageMaker Studio 從 JumpStart 部署模型。

先決條件

驗證您已在 Amazon SageMaker HyperPod 叢集上設定推論功能。如需詳細資訊，請參閱設定 HyperPod 叢集以進行模型部署。

建立 HyperPod 部署

  1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中開啟 JumpStart 登陸頁面。

  2. 在所有公有模型下，選擇您要部署的模型。

    注意

    如果已選取門控模型，則您必須接受最終使用者授權合約 (EULA)。

  3. 選擇 SageMaker HyperPod。

  4. 在部署設定下，JumpStart 將建議一個執行個體進行部署。如有必要，您可以修改這些設定。

    1. 如果您修改執行個體類型，請確定其與所選的 HyperPod 叢集相容。如果沒有任何相容的執行個體，您將需要選取新的 HyperPod 叢集，或聯絡您的管理員，將相容的執行個體新增至叢集。

    2. 若要排定模型部署的優先順序，請安裝任務治理附加元件、建立運算配置，以及設定叢集政策的任務排名。一旦完成此操作，您應該會看到一個選項，用來為模型部署選取優先順序，這可用於先佔叢集上其他部署和任務的優先權。

    3. 輸入管理員已為您提供其存取權的命名空間。您可能必須直接聯絡您的管理員，以取得確切的命名空間。一旦提供了有效的命名空間，就應啟用部署按鈕以部署模型。

    4. 如果您的執行個體類型已分割 (MIG 已啟用），請選取 GPU 分割區類型。

    5. 如果您想要啟用 L2 KVCache 或智慧型路由以加速 LLM 推論，請啟用它們。根據預設，只會啟用 L1 KV 快取。如需 KVCache 和智慧型路由的詳細資訊，請參閱 SageMaker HyperPod 模型部署。

  5. 選擇部署並等待建立端點。

  6. 建立了端點後，選取測試推論。

編輯 HyperPod 部署

  1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中選取運算，然後選取 HyperPod 叢集。

  2. 在部署下，選擇您要修改的 HyperPod 叢集部署。

  3. 從垂直省略符號圖示 (⋮) 中，選擇編輯。

  4. 在部署設定下，您可以啟用或停用自動擴展，並變更複本數上限。

  5. 選取儲存。

  6. 狀態將變更為更新中。一旦變更回服務中，您的變更即完成，而且您會看到一則確認該變更的訊息。

刪除 HyperPod 部署

  1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中選取運算，然後選取 HyperPod 叢集。

  2. 在部署下，選擇您要修改的 HyperPod 叢集部署。

  3. 從垂直省略符號圖示 (⋮) 中，選擇刪除。

  4. 在刪除 HyperPod 部署視窗中，選取核取方塊。

  5. 選擇 刪除。

  6. 狀態將變更為刪除中。一旦刪除了 HyperPod 部署，您就會看到確認刪除的訊息。