JumpStart 通过使用 Amazon SageMaker Studio 部署模型 - 亚马逊 SageMaker AI
先决条件创建部 HyperPod 署编辑部 HyperPod 署删除部 HyperPod 署

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

JumpStart 通过使用 Amazon SageMaker Studio 部署模型

以下步骤向您展示了如何 JumpStart 使用 Amazon SageMaker Studio 部署模型。

先决条件

确认您已在 Amazon SageMaker HyperPod 集群上设置了推理功能。有关更多信息，请参阅 设置 HyperPod 集群以进行模型部署。

创建部 HyperPod 署

  1. 在 Amazon SageMaker Studio 中，从左侧导航窗格中打开JumpStart登录页面。

  2. 在所有公共模型下，选择要部署的模型。

    注意

    如果您选择了门控模型，则必须接受最终用户许可协议（EULA）。

  3. 选择 SageMaker HyperPod。

  4. 在 “部署设置” 下， JumpStart将推荐一个实例进行部署。如有必要，您可以修改这些设置。

    1. 如果您修改实例类型，请确保它与所选HyperPod 集群兼容。如果没有任何兼容的实例，则需要选择一个新HyperPod 集群或联系管理员向集群添加兼容的实例。

    2. 要确定模型部署的优先级，请安装任务治理加载项，创建计算资源分配，然后为集群策略设置任务排名。完成此操作后，您应看到一个为模型部署选择优先级的选项，该优先级可用于抢占集群上的其他部署和任务。

    3. 输入管理员已为您提供访问权限的命名空间。您可能需要直接联系管理员以获取确切的命名空间。提供有效的命名空间后，应启用部署按钮来部署模型。

    4. 如果您的实例类型为分区（已启用 MIG），请选择 GPU 分区类型。

    5. 如果要启用 L2 KVCache 或智能路由来加快 LLM 推理，请启用它们。默认情况下，仅启用 L1 KV 缓存。有关 KVCache 和智能路由的更多详细信息，请参阅SageMaker HyperPod 模型部署。

  5. 选择部署，然后等待端点创建完成。

  6. 创建端点后，选择测试推理。

编辑部 HyperPod 署

  1. 在 Amazon SageMaker Studio 中，选择计算，然后从左侧导航窗格中选择HyperPod集群。

  2. 在部署下，选择要修改的 HyperPod 集群部署。

  3. 从垂直省略号图标（⋮）中，选择编辑。

  4. 在部署设置下，您可以启用或禁用自动扩缩，并更改最大副本数的数字。

  5. 选择保存。

  6. 状态将变为正在更新。在状态变回正在服务后，您的更改便已完成，并且您将看到一条确认消息。

删除部 HyperPod 署

  1. 在 Amazon SageMaker Studio 中，选择计算，然后从左侧导航窗格中选择HyperPod集群。

  2. 在部署下，选择要修改的 HyperPod 集群部署。

  3. 从垂直省略号图标（⋮）中，选择删除。

  4. 在 “删除部 HyperPod 署” 窗口中，选中该复选框。

  5. 选择删除。

  6. 状态将变为正在删除。删除 HyperPod 部署后，您将看到一条确认消息。