Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden Sie ein Computer-Nutzungstool, um eine Antwort auf ein Amazon Bedrock-Modell abzuschließen
Die Verwendung von Computern ist eine Anthropic Claude Modellfunktion (in der Betaversion), die nur mit Anthropic Claude 3.7 Sonnet und Claude 3.5 Sonnet v2 verfügbar ist. ClaudeKann Ihnen bei der Computernutzung helfen, Aufgaben durch grundlegende GUI-Aktionen zu automatisieren.
Warnung
Die Funktion zur Computernutzung wird Ihnen als „Beta-Service“ gemäß der Definition in den AWS Servicebedingungen zur Verfügung gestellt. Sie unterliegt Ihrer Vereinbarung mit AWS und den AWS Servicebedingungen sowie der geltenden Muster-EULA. Bitte beachten Sie, dass die Computer Use API besondere Risiken birgt, die sich von Standard-API-Funktionen oder Chat-Schnittstellen unterscheiden. Diese Risiken werden erhöht, wenn die Computer Use API für die Interaktion mit dem Internet verwendet wird. Um Risiken zu minimieren, sollten Sie folgende Vorsichtsmaßnahmen in Betracht ziehen:
Betreiben Sie die Funktionen zur Computernutzung in einer speziellen virtuellen Maschine oder einem Container mit minimalen Rechten, um direkte Systemangriffe oder Unfälle zu verhindern.
Um Informationsdiebstahl zu verhindern, sollten Sie der Computer Use API keinen Zugriff auf sensible Konten oder Daten gewähren.
Beschränken Sie den Internetzugang der Computer-Use-API auf die erforderlichen Domänen, um das Risiko bösartiger Inhalte zu verringern.
Um eine angemessene Aufsicht zu gewährleisten, sollten Sie bei sensiblen Aufgaben (wie Entscheidungen, die erhebliche Auswirkungen auf die reale Welt haben könnten) und bei allem, was eine ausdrückliche Zustimmung erfordert (wie die Annahme von Cookies, die Ausführung von Finanztransaktionen oder die Zustimmung zu Nutzungsbedingungen), einen Menschen auf dem Laufenden halten.
Jeder Inhalt, den Sie sehen oder auf Claude den Sie zugreifen, kann möglicherweise Anweisungen außer Kraft setzen oder Claude zu Fehlern oder unbeabsichtigten Aktionen führen. Es ist wichtig, angemessene Vorsichtsmaßnahmen zu treffen, wie z. B. das Isolieren Claude von empfindlichen Oberflächen — auch zur Vermeidung von Risiken im Zusammenhang mit einer sofortigen Injektion. Bevor Sie Funktionen zur Computernutzung in Ihren eigenen Produkten aktivieren oder die erforderlichen Genehmigungen anfordern, informieren Sie die Endbenutzer bitte über alle relevanten Risiken und holen Sie gegebenenfalls deren Zustimmung ein.
Die Computernutzungs-API bietet mehrere vordefinierte Tools zur Computernutzung (computer_20241022, bash_20241022 und text_editor_20241022), die Sie verwenden können. Sie können dann eine Aufforderung mit Ihrer Anfrage erstellen, z. B. „Senden Sie Ben eine E-Mail mit den Notizen von meinem letzten Treffen“ und einen Screenshot (falls erforderlich). Die Antwort enthält eine Liste von tool_use
Aktionen im JSON-Format (z. B. scroll_down, left_button_press, Screenshot). Ihr Code führt die Computeraktionen aus und stellt einen Claude Screenshot zur Verfügung, der die Ausgaben zeigt (falls angefordert).
Der Parameter tools wurde aktualisiert und akzeptiert nun polymorphe Werkzeugtypen. Eine neue tool.type
Eigenschaft wurde hinzugefügt, um sie voneinander zu unterscheiden. type
ist optional. Wenn es weggelassen wird, wird davon ausgegangen, dass es sich bei dem Werkzeug um ein benutzerdefiniertes Werkzeug handelt (bisher der einzige unterstützte Werkzeugtyp). Zusätzlich wurde ein neuer Parameteranthropic_beta
,, mit einem entsprechenden Enum-Wert hinzugefügt:computer-use-2024-10-22
. Nur Anfragen, die mit diesem Parameter und Enum gestellt wurden, können die neuen Computerverwendungstools verwenden. Es kann wie folgt angegeben werden:"anthropic_beta":
["computer-use-2024-10-22"]
.
Um die Computernutzung mit Anthropic Claude 3.5 Sonnet v2 zu verwenden, können Sie die Converse API verwenden (Converse oder ConverseStream). Sie geben an, dass der Computer bestimmte Felder im additionalModelRequestFields
Feld verwendet. Allgemeine Informationen zum Aufrufen der Converse API finden Sie unterFühren Sie eine Konversation mit den Converse API-Operationen.
Es ist möglich, Tools mit den grundlegenden Inferenzoperationen (InvokeModeloder InvokeModelWithResponseStream) zu verwenden. Informationen zu den Inferenzparametern, die Sie im Hauptteil der Anfrage übergeben, finden Sie unter. AnthropicClaudeNachrichten-API
Weitere Informationen finden Sie in der Anthropic Dokumentation unter Computernutzung (Beta)
Beispiel-Code
Der folgende Code zeigt, wie die Computer-Use-API aufgerufen wird. Die Eingabe ist ein Bild der AWS Konsole.
with open('test_images/console.png', 'rb') as f: png = f.read() response = bedrock.converse( modelId='anthropic.claude-3-5-sonnet-20241022-v2:0', messages=[ { 'role': 'user', 'content': [ { 'text': 'Go to the bedrock console' }, { 'image': { 'format': 'png', 'source': { 'bytes': png } } } ] } ], additionalModelRequestFields={ "tools": [ { "type": "computer_20241022", "name": "computer", "display_height_px": 768, "display_width_px": 1024, "display_number": 0 }, { "type": "bash_20241022", "name": "bash", }, { "type": "text_editor_20241022", "name": "str_replace_editor", } ], "anthropic_beta": ["computer-use-2024-10-22"] }, toolConfig={ 'tools': [ { 'toolSpec': { 'name': 'get_weather', 'inputSchema': { 'json': { 'type': 'object' } } } } ] }) print(json.dumps(response, indent=4))
Beispielantwort
Der Beispielcode gibt eine Ausgabe aus, die der folgenden ähnelt.
{ "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ", "type": "message", "role": "assistant", "content": [ { "type": "text", "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section." }, { "type": "tool_use", "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3", "name": "computer", "input": { "action": "screenshot" } } ], "stop_reason": "tool_use", "stop_sequence": null, "usage": { "input_tokens": 3710, "output_tokens": 97 } }