View a markdown version of this page

使用解决方案 - AWS 上的生成式人工智能应用程序构建者
访问用户界面如何更新部署如何克隆部署如何删除部署使用 Amazon SageMaker AI 作为 LLM 提供商

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用解决方案

访问用户界面

在堆栈部署过程中（对于部署仪表板和用例），将向配置的电子邮件地址发送一封电子邮件。该电子邮件包含用户的临时证书，他们可以用来注册和访问 Web 界面。

注意

堆栈完成后，有权访问 AWS 管理控制台的用户必须向管理员用户提供部署控制面板用户界面的 CloudFront URL。 DevOps

对于用例，部署完成后，有权访问部署仪表板用户界面的管理员用户必须向业务用户提供用例用户界面的 CloudFront URL。

登录后，用户可以与解决方案进行交互 UIs，管理员可以通过 Deployment 控制面板进行交互，对于业务用户，则可以与用例进行交互。

如何更新部署

在部署仪表板主页（或部署的详细信息页面）上，您可以编辑部署使用的配置。您只能编辑处于 CREATE_COMPLETE 或 UPDATE_COMPLETE 状态的部署。

除用例名称外，所有其他选项均可在部署中编辑。只需更改要编辑的值并重新部署即可。

根据所做的编辑范围，重新部署的时间会有所不同。如果简单设置（例如，模型参数）已更改，则可能需要几秒钟；如果与基础设施相关的较大选项已更改（例如，请求为文本用例 RAG 创建 Amazon Kendra 索引），则可能需要超过 30 分钟。

成功完成编辑后，应用程序状态将报告为 UPDATE_COMPLETE 状态。此时，您可以通过 CloudFront URL 访问已部署的用户界面并与修改后的部署进行交互。

注意

如果您想比较不同的设置或， side-by-side则运行多个部署可能会更容易 LLMs。使用克隆功能快速使用现有配置启动新部署。

如何克隆部署

在部署仪表板主页（或部署的详细信息页面）上，您可以克隆部署使用的配置。克隆部署会启动 “部署新用例” 向导，但大多数字段都预先填充了相同的值。

这是一项便捷操作，可帮助您快速复制已更改设置的部署、恢复已删除的部署，或者比较原本相同的部署 LLMs 中的多个部署。

如何删除部署

在部署仪表板主页（或部署的详细信息页面）上，可以在不再需要部署后将其删除。删除部署会调用 CloudFormation 堆栈删除操作并取消部署资源。

默认情况下，已删除的部署仍保留在仪表板上，以启用克隆功能。要将部署从仪表板中完全移除，以便停止在用户界面中对其进行跟踪，请在删除确认窗口中选择永久删除。

重要

删除堆栈时会留下一些资源，必须手动删除。有关保留哪些资源以及如何清理这些资源的详细信息，请参阅手动卸载部分。

使用 Amazon SageMaker AI 作为 LLM 提供商

从 v1.3.0 开始，A mazon SageMaker AI 可用作文本用例的模型提供者。此功能允许您在解决方案中使用 AWS 账户中已存在的 A SageMaker I 推理终端节点。以下是一些入门方法。

重要

该解决方案不管理您的 SageMaker AI 终端节点的生命周期。当不再需要 SageMaker AI 终端节点时，您有责任将其删除，以免产生额外费用。

创建 A SageMaker I 终端节点

您可以使用 Amazon SageMaker AI JumpStart 快速部署终端节点。

您还可以使用基于文本生成的 SageMaker AI 端点，并使用基 SageMaker 本 AI 服务进行部署。有关如何部署模型进行推理的分步指南，请参阅 SageMaker AI JumpStart 文档。

注意

基础 models/LLMs 通常相当大，通常需要使用大型加速计算实例。默认情况下，其中许多较大的实例在您的 AWS 账户中可能不可用。请参阅默认 SageMaker AI 配额，并确保在部署前申请增加配额，以避免常见的部署失败。

使用 SageMaker AI 端点创建文本用例部署

要使用 SageMaker AI 端点进行推理部署新的文本用例，请执行以下操作：

  1. 通过部署仪表板向导@@ 创建新的用例并填写表单，直到进入模型选择页面。

  2. 在模型页面上，选择 SageMaker AI 作为模型提供者。这将生成一个需要用户输入三个关键部分的自定义表单：

    • 您要使用的 SageMaker AI 终端节点的名称。 DevOps 用户可以从 AWS 控制台获取此信息。请注意，终端节点必须与解决方案部署在同一个账户和区域中。

      终端节点名称在 AWS 控制台上的位置

      image15

    • 端点期望的输入有效载荷架构。为了支持最广泛的端点，管理员用户需要告诉解决方案他们的端点期望如何格式化输入。在模型选择向导中，提供要发送到端点的解决方案的 JSON 架构。您可以添加占位符以将静态和动态值注入请求有效负载。可用选项如下：

      • 强制占位符：\ <\ <prompt\ >\ > 将被动态替换为要在运行时发送到 SageMaker AI 端点的完整输入（例如，历史记录、上下文和提示模板中的用户输入）。

      • 可选占位符：<temperature\ >\ <\\ > *、\ * 以及高级模型参数中定义的任何参数都可以提供给端点。任何包含以\ <\ < and\ >\ > 括起的占位符的字符串（例如 <max_new_tokens\ >\ <\\ >）都将被同名的高级模型参数的值替换。

        输入架构示例-设置必填字段、提示和温度，以及自定义高级参数 max_new_tokens。输出路径必须作为有效 JSONPath 字符串提供

        image16

  3. LLMs 生成的字符串响应在输出负载中的位置。必须将其作为 JSONPath 表达式提供，以指示应从端点的返回对象和响应中访问显示给用户的最终文本响应的位置。

    添加要在 SageMaker AI 输入架构中使用的高级模型参数的示例（有关之前的选项/设置，请参阅图 2）

    image17
注意

SageMaker AI 现在支持在同一个端点后面托管多个模型，这是在当前版本的 SageMaker AI Studio（不是 Studio Classic）中部署端点时的默认配置。

如果您的终端节点是以这种方式配置的，则需要InferenceComponentName向高级模型参数部分添加一个与您要使用的模型名称相对应的值。