在运行时配置内联代理 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在运行时配置内联代理

您可以使用 InvokeInlineAgentAPI 在运行时动态配置和调用内联 Amazon Bedrock 代理。使用内联代理可以让您在调用代理的同时灵活地指定代理的功能,例如基础模型、指令、操作组、护栏和知识库。您无需预定义代理功能即可开始使用。

下面是一些使用内联代理的使用案例,让您可以在调用时配置代理,实现了更好的灵活性。

  • 使用不同配置尝试各种代理功能来快速开展实验,并在不创建独立代理的情况下动态更新可供代理使用的工具。

  • 动态调用代理来执行特定任务,而无需创建新的代理版本或准备代理。

  • 通过在运行时创建并调用代理,可以运行简单查询或使用代码解释器完成简单任务。

  • 多代理协作设置中创建多个代理,以便在一个任务或对话中协同工作。

    要使用多代理协作,您可以使用内联代理按以下组合创建代理 APIs。

    代理类型
    主管 协作者
    内联 内联
    内联 传统

支持的模型和区域

您可以使用 Amazon Bedrock 代理支持的任何基础模型来配置内联代理,并且可以在 Amazon Bedrock 代理支持的任何区域中调用您的内联代理。有关 Amazon Bedrock 代理所支持模型和区域的更多信息,请参阅以下内容:

使用内联代理,您可以在模型之间切换。我们建议您在属于同一系列的模型之间切换。在不同模型系列之间切换可能会导致行为不一致,并可能引发故障。

Amazon Bedrock 控制台中目前不支持配置和调用内联代理。

为内联代理使用高级提示模板的指南

  • 基本提示模板 – 默认情况下,Amazon Bedrock 将使用内联代理的默认基本提示模板,并且可以随时在后台更改提示。这可能会使响应不一致。如果您希望查询得到一致的响应,请使用自己的配置覆盖默认基本提示模板中的逻辑,从而自定义内联代理的行为。有关更多信息,请参阅高级提示模板

  • 加密 – 使用 customer managed key 加密静态/存储的会话详细信息。如果使用客户自主管理型密钥启动会话,则在会话的所有未来请求中都将需要使用该密钥。对同一会话使用不同的客户自主管理型密钥将导致异常。

  • 会话共享 – 今后,所有会话均为账户级别,而不是角色级别。您可以通过为 agentName 指定唯一值,在代理级别隔离会话。

  • 内联会话状态InlineSessionState 内部的属性在整个会话中持续存在。使用这些属性为模型和少样本提示提供附加上下文。