使用操场在控制台中生成响应
Amazon Bedrock 操场是 AWS 管理控制台中的一个工具,提供可视化界面,可让您尝试使用不同模型通过不同配置运行推理。您可以在将不同的模型和值集成到应用程序之前,使用操场测试这些模型和值。
在操场中运行提示等同于在 API 中发出 InvokeModel、InvokeModelWithResponseStream、Converse 或 ConverseStream 请求。
Amazon Bedrock 提供以下操场供您尝试:
-
聊天/文本 – 提交文本提示并生成响应,或通过语音进行交互。您可以选择以下一种模式:
-
聊天 - 提交文本提示或通过语音进行交互。对于文本提示,您还可以添加图像或文档来补充提示的内容。您提交的后续提示将包含您之前的提示作为上下文,因此提示和响应的顺序类似于对话。
-
单个提示 – 提交单个文本提示并生成对它的响应。
注意
Amazon Nova Sonic 等语音转语音模型仅在聊天模式下可用。语音转语音模型不支持比较模式。
-
-
图像 – 提交文本提示以生成图像。您也可以提交图像提示并指定是对其进行编辑还是生成其变体。
以下流程介绍了如何在操场中提交提示、您可以调整的选项以及模型生成响应后您可以采取的操作。
使用操场
-
如果您还没有使用过模型,请先针对要使用的模型请求模型访问权限。有关更多信息,请参阅 访问 Amazon Bedrock 基础模型。
-
采用有权使用 Amazon Bedrock 控制台的 IAM 身份登录 AWS 管理控制台。然后,通过以下网址打开 Amazon Bedrock 控制台:https://console.aws.amazon.com/bedrock
。 -
在导航窗格中,在操场下,选择聊天/文本或图像。
-
如果您位于聊天/文本操场中,请选择模式。
-
选择选择模型,然后选择要使用的提供商、模型和吞吐量。有关增加吞吐量的更多信息,请参阅通过跨区域推理提高吞吐量和预调配吞吐量。
-
提交以下信息以生成响应:
-
提示 – 一句或几句文字,用于为模型设定场景、问题或任务。有关创建提示的信息,请参阅 提示工程概念。
如果您使用的是聊天/文本演练场的聊天模式,则某些模型(请参阅支持的模型和模型功能)可让您通过以下方式添加文件:
-
选择附件图标,然后选择要上传的文件。
-
选择附件图标,然后选择要上传的 Amazon S3 对象。
-
将文件拖动到提示上。
添加文件以补充提示内容。您可以在提示文本中引用该文件。例如,您可以编写
Summarize this document for me或Tell me what's in this image。您可以包含以下类型的文件:-
文档 – 添加文档以补充提示。有关支持的文件类型列表,请参阅 DocumentBlock 中的
format字段。警告
文档名称容易受到提示注入的影响,因为模型可能会意外将其解读为说明。因此,我们建议您指定一个中性名称。
-
图像 – 添加图像以补充提示内容(如果模型支持多模态图像和文本输入)。有关支持的文件类型列表,请参阅 ImageBlock 中的
format字段。 -
视频 – 添加视频以补充提示内容(如果模型支持多模态视频和文本输入)。有关支持的文件类型列表,请参阅 VideoBlock 中的
format字段。
-
-
配置 – 您可以调整来修改模型响应的设置。配置包含以下内容:
-
推理参数 – 影响或限制模型生成响应的方式的值。有关更多信息,请参阅 利用推理参数影响响应生成。要查看特定模型的推理参数,请参阅基础模型的推理请求参数和响应字段。
-
系统提示 – 向模型提供有关它应执行的任务或应采用的角色的说明或上下文的提示。此类提示仅在聊天/文本操场的聊天模式下可用。有关更多信息以及支持系统提示的模型列表,请参阅使用 Converse API 操作进行对话。
-
防护机制 – 过滤掉提示和模型响应中的有害或不需要的内容。有关更多信息,请参阅 使用 Amazon Bedrock 护栏检测和筛选掉有害内容。
-
-
-
(可选)如果模型支持流式传输,聊天/文本操场中的默认行为是流式传输响应。您可以通过选择选项图标(
)和修改流式传输首选项选项来关闭流式传输。 -
(可选)在聊天/文本操场的聊天模式下,您可以通过执行以下操作来比较不同模型的响应:
-
启用比较模式。
-
选择选择模型,然后选择要使用的提供商、模型和吞吐量。
-
选择配置图标(
)以修改要使用的配置。 -
要添加更多模型进行比较,请选择右侧的 + 图标,选择一个模型,然后根据需要修改配置。
-
-
(可选)如果模型支持提示缓存,则可以打开配置面板,然后启用提示缓存,以允许对输入和模型响应进行缓存,从而降低成本并减少延迟。有关更多信息,请参阅 用于加快模型推理速度的提示缓存。
-
要运行提示,请选择运行。Amazon Bedrock 不会存储您提供的任何文本、图像或文档。数据仅用于生成响应。
注意
如果响应违反了内容审核政策,则 Amazon Bedrock 不会显示该响应。如果您已开启流式传输,Amazon Bedrock 会在生成违反政策的内容时清除整个响应。要了解更多详细信息,请导航至 Amazon Bedrock 控制台,选择提供商,然后阅读内容限制部分下的文本。
-
模型返回响应。如果您使用的是聊天/文本操场的聊天模式,则可以提交提示来回复响应并生成其他响应。
-
生成响应后,您可以选择以下选项:
-
要将响应导出为 JSON 文件,请选择选项图标(
),然后选择导出为 JSON。 -
要查看您发出的 API 请求,请选择选项图标(
),然后选择查看 API 请求。 -
在聊天/文本操场的聊天模式下,您可以在模型指标部分中查看指标。可供使用的模型指标如下:
-
延迟 – Amazon Bedrock 接收到请求的时间点,与返回响应的时间点(针对非流式响应)或响应流完成的时间点(针对流式响应)之间的时长。
-
输入词元计数 – 在推理期间以输入形式输入到模型中的词元数量。
-
输出词元计数 – 响应提示时生成的词元数量。更长、更像对话的响应需要更多词元。
-
成本 – 处理输入和生成输出词元的成本。
要设置您希望响应匹配的指标标准,请选择定义指标标准并定义模型要匹配的条件。应用标准后,模型指标部分将显示响应满足的标准数量和标准。
如果不满足标准,您可以选择其他模型,重写提示,或者修改配置并重新运行提示。
-
-