配置 Amazon Bedrock 代理以使用计算机使用工具完成任务
计算机使用是一项 Anthropic Claude 模型功能(测试版),仅在 Anthropic Claude 3.7 Sonnet 和 Claude 3.5 Sonnet v2 中可用。
警告
根据 AWS 服务条款的定义,计算机使用功能作为“测试版服务”供您使用。它受您与 AWS 达成的协议和 AWS 服务条款以及适用的模型 EULA 的约束。计算机使用会带来与标准 API 功能或聊天界面不同的独有风险。使用计算机使用工具与互联网进行交互时,这些风险会更加明显。为了最大限度地降低风险,请考虑采取如下预防措施:
在具有最低权限的专用虚拟机或容器中操作计算机使用功能,以防止直接的系统攻击或事故。
避免授予计算机使用 API 访问敏感账户或数据的权限,以防止信息被盗。
将计算机使用 API 的互联网访问权限限制在必需的域内,以减少接触恶意内容。
请人工随时关注敏感任务(例如做出可能导致实际后果的决策)和任何需要肯定同意的操作(例如接受 Cookie、执行金融交易或同意服务条款),以确保进行适当的监督。
您允许 Claude 查看或访问的任何内容都可能覆盖指令或导致 Claude 犯错或执行意外操作。必须采取适当的预防措施,例如将 Claude 与敏感数据和操作隔离,包括避免与提示注入相关的风险。在启用或请求必要的权限以在您自己的产品中启用计算机使用功能之前,请告知终端用户任何相关风险,并酌情征得他们的同意。
借助计算机使用,Amazon Bedrock 代理可以使用 Claude,通过基本的 GUI 操作自动执行任务,并运行您实施的 Linux 命令。例如,启用此功能后,代理可以截屏、创建和编辑文本文件或运行 Linux 命令。Claude 帮助代理预测使用哪些工具和工具操作,代理则使用您的工具实施来完成任务。要为代理启用计算机使用,您需要为代理创建操作组,并指定计算机使用工具。有关工作流的更多信息,请参阅工作流。
您的代理可以使用以下 Anthropic 定义的工具:
-
Computer – 操作包括使用鼠标和键盘以及屏幕截图
-
TextEditor – 操作包括查看、创建和编辑文件。
-
Bash – 操作包括在 Bash Shell 中运行命令。
有关计算机使用工具的更多信息,包括实施示例和工具描述,请参阅 Anthropic 文档中的计算机使用(测试版)
护栏注意事项
以下是计算机使用工具和代理的护栏机制注意事项:
-
我们建议您将护栏机制关联到代理,来为您的应用程序实施安全措施。有关更多信息,请参阅 通过将护栏与代理关联为应用程序实施保护措施。
-
由于图像护栏机制限制,如果您的应用程序从图像输出文本,请在输出前使用 ApplyGuardrail API 来限制此内容。有关 Amazon Bedrock 中护栏机制的更多信息,请参阅使用 Amazon Bedrock 护栏检测和筛选掉有害内容。
工作流
要将计算机使用工具与 Amazon Bedrock 代理结合使用,请执行以下操作:
-
创建操作组并指定计算机使用工具。您可以在 CreateAgentActionGroup 或 UpdateAgentActionGroup API 操作中指定可供代理使用的工具。对于内联代理,您可以在 InvokeInlineAgent API 操作中指定工具。
-
在您的应用程序中实施计算机使用功能。有关工具实施的示例,请参阅 anthropic-quickstarts
GitHub 存储库中的 anthropic-quickstarts/computer-use-demo/tools 。 -
在对话中处理代理发出的计算机使用工具请求。在使用 InvokeAgent API 操作后,从响应中提取工具和操作选择,然后执行该工具操作的实施。