設定 Amazon Bedrock 代理程式,以電腦使用工具完成任務
電腦使用是一種 Anthropic Claude 模型功能 (測試版),僅適用於 Anthropic Claude 3.7 Sonnet 和 Claude 3.5 Sonnet v2。
警告
電腦使用功能會以「Beta 版服務」的形式提供給您,如 AWS 服務條款所定義。其受您與 AWS 的協議、AWS 服務條款以及適用的模型 EULA 所約束。電腦的使用會帶來一些獨特的風險,這些風險與標準 API 功能或聊天介面截然不同。使用電腦使用工具與網際網路互動時,這些風險會提高。為了將風險降至最低,請考慮採取預防措施,例如:
在專用虛擬機器或容器中以最低權限操作電腦使用功能,以防止直接系統攻擊或意外事故。
為避免資訊遭竊,請避免讓電腦使用 API 存取敏感帳戶或資料。
限制電腦使用 API 對必要網域的網際網路存取,以減少對惡意內容的暴露。
為了確保適當的監督,請在執行敏感任務 (例如可能對現實世界產生重大影響的決策) 以及需要明確同意的任何項目 (例如接受 Cookie、執行金融交易,或同意服務條款) 時,保留人工介入環節。
您啟用 Claude 以查看或存取的任何內容都可能覆寫指示,或導致 Claude 發生錯誤或執行意外動作。採取適當的預防措施 (例如將 Claude 與敏感表面隔離) 至關重要,包括避免與提示注入相關的風險。在啟用或請求啟用自有產品中電腦使用功能所需的許可之前,請通知最終使用者任何相關風險,並適時取得其同意。
在使用電腦時,Amazon Bedrock 代理程式可以使用 Claude 透過基本 GUI 動作來自動化任務,並執行您實作的 linux 命令。例如,啟用時,您的代理程式可以擷取畫面、建立和編輯文字檔案,或執行 linux 命令。Claude 可協助代理程式預測要使用的工具和工具動作,而代理程式會使用您的工具實作來完成任務。若要啟用代理程式的電腦使用,您可以為代理程式建立動作群組,並指定電腦使用工具。如需工作流程的詳細資訊,請參閱工作流程。
您的代理程式可以使用下列 Anthropic 定義的工具:
-
電腦 – 動作包括使用滑鼠和鍵盤,以及擷取螢幕擷取畫面
-
TextEditor – 動作包括檢視、建立和編輯檔案。
-
Bash – 動作包括在 Bash shell 中執行命令。
如需電腦使用工具的詳細資訊,包括實作範例和工具描述,請參閱 Anthropic 文件中的電腦使用 (測試版)
防護機制考量事項
以下是電腦使用工具和代理程式的防護機制考量:
-
我們建議您透過將防護機制與代理程式建立關聯,為應用程式實作保護措施。如需詳細資訊,請參閱 透過將防護機制與代理程式建立關聯,為您的應用程式實作保護措施。
-
由於影像防護機制的限制,如果您的應用程式從影像輸出文字,請在輸出之前使用 ApplyGuardrail API 來限制此內容。如需 Amazon Bedrock 中防護機制的詳細資訊,請參閱使用 Amazon Bedrock 防護機制偵測和篩選有害內容。
工作流程
若要搭配 Amazon Bedrock 代理程式使用電腦使用工具,請執行下列動作:
-
建立動作群組並指定電腦使用工具。您可以在 CreateAgentActionGroup 或 UpdateAgentActionGroup API 操作中指定代理程式可用的工具。對於內嵌代理程式,您可以在 InvokeInlineAgent API 操作中指定工具。
-
在您的應用程式中實作電腦使用函數。如需工具實作範例,請參閱 anthropic-quickstarts
GitHub 儲存庫中的 anthropic-quickstarts/computer-use-demo/tools 。 -
處理對話中來自代理程式的電腦使用工具請求。使用 InvokeAgent API 操作後,請從回應中擷取工具和動作選擇,然後執行工具動作的實作。