View a markdown version of this page

Verwenden Sie Tools zur Computernutzung, um GUI-Aufgaben mit Amazon Bedrock-Modellen zu automatisieren - Amazon Bedrock
Verwenden Sie die Computernutzung auf Amazon BedrockBeispielanforderung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie Tools zur Computernutzung, um GUI-Aufgaben mit Amazon Bedrock-Modellen zu automatisieren

Computer Use ist eine Anthropic Claude Toolfamilie (in der Betaversion) zur Automatisierung von Aufgaben mit grafischer Benutzeroberfläche (GUI). Das Modell gibt tool_use Aktionen wiescreenshot, left_clicktype, und scroll in JSON zurück. Ihre Anwendung führt diese Aktionen auf einem Desktop oder Container aus und gibt den resultierenden Screenshot Claude bei der nächsten Runde zurück.

Das zugrunde liegende Werkzeugprotokoll, die vollständige Liste der Aktionen und Anleitungen zur Prompt-Engineering finden Sie in der Dokumentation unter Computernutzung. Anthropic Diese Seite behandelt die Bedrock-specific Amazon-Nutzung zusätzlich zu diesem Protokoll.

Warnung

Die Computernutzung wird Ihnen als „Beta-Service“ gemäß der Definition in den AWS Servicebedingungen zur Verfügung gestellt. Sie unterliegt Ihrer Vereinbarung mit AWS, den AWS Servicebedingungen und der geltenden Muster-EULA. Die Computer-Use-API birgt einzigartige Risiken, die sich von Standard-API-Funktionen oder Chat-Schnittstellen unterscheiden. Diese Risiken steigen, wenn die Computer-Use-API für die Interaktion mit dem Internet verwendet wird. Zur Minimierung der Risiken sollten Sie folgende Vorsichtsmaßnahmen in Betracht ziehen:

  • Betreiben Sie das Computer-Use-Feature in einer speziellen virtuellen Maschine oder in einem Container mit minimalen Rechten, um gezielte oder versehentliche Angriffe auf das System zu verhindern.

  • Zur Verhinderung von Informationsdiebstahl sollten Sie der Computer-Use-API keinen Zugriff auf sensible Konten oder Daten gewähren.

  • Beschränken Sie den Internetzugang der Computer-Use-API auf die erforderlichen Domänen, um das Risiko bösartiger Inhalte zu verringern.

  • Um eine adäquate Aufsicht zu gewährleisten, sollte bei sensiblen Aufgaben (wie Entscheidungen, die erhebliche Auswirkungen auf die reale Welt haben könnten) sowie Aufgaben, die eine ausdrückliche Zustimmung erfordern (wie die Annahme von Cookies, die Ausführung von Finanztransaktionen oder die Zustimmung zu Nutzungsbedingungen), ein HITL einbezogen werden.

Alle Inhalte, für die Sie Claude Anzeige- oder Zugriffsberechtigungen erteilen, können möglicherweise Anweisungen außer Kraft setzen oder Claude zu Fehlern oder unbeabsichtigten Aktionen verleiten. Daher ist es wichtig, angemessene Vorsichtsmaßnahmen zu treffen und Claude z. B. von sensiblen Oberflächen fernzuhalten, auch zur Vermeidung von Risiken im Zusammenhang mit einer Promptinjektion. Bevor Sie Computer-Use-Features in eigenen Produkten aktivieren oder die erforderlichen Genehmigungen anfordern, informieren Sie die Endbenutzer bitte über alle einschlägigen Risiken und holen Sie gegebenenfalls deren Zustimmung ein.

Verwenden Sie die Computernutzung auf Amazon Bedrock

Die Computernutzung wird sowohl auf den Endgeräten als auch auf den bedrock-runtime bedrock-mantle Endgeräten unterstützt. Informationen darüber, welche Modelle die Computernutzung auf den einzelnen Endpunkten unterstützen, finden Sie in der jeweiligen Modelle auf einen Blick Tabelle mit den Funktionen und Funktionen. Wenn Sie eine Anfrage an ein Modell senden, das die Computernutzung nicht unterstützt, oder wenn Sie einen Werkzeugtyp mit einem nicht unterstützten Modell kombinieren, wird a zurückgegeben. 400 invalid_request_error

Um die Computernutzung bei einer Anfrage zu aktivieren, müssen Sie beides angeben:

  • Ein anthropic_beta Eintrag, der eine Betaversion für die Computernutzung benennt (z. B. "anthropic_beta": ["computer-use-2025-11-24"] im Anfragetext für bedrock-runtime oder im anthropic-beta: computer-use-2025-11-24 HTTP-Header fürbedrock-mantle).

  • Ein oder mehrere Anthropic vordefinierte Tooleinträge im tools Array mit einem type Feld, das der Betaversion entspricht (z. B., computer_20251124bash_20250124, oder). text_editor_20250124

Die Kombinationen von Beta-Version und Tooltyp, zusätzliche Anthropic -definierte Tools (Bash und Texteditor) und die vollständige Dokumentation zu den Anforderungs- und Antwortfeldern finden Sie unter. Computer Use (Beta)

Beispielanforderung

Das folgende Python-Beispiel sendet mit dem Computer Use Tool eine Messages-API-Anfrage über den bedrock-runtime Endpunkt. Ersetzen Sie die modelId durch eine, die die Computernutzung unterstützt (sieheModelle auf einen Blick).

import boto3
import json

client = boto3.client("bedrock-runtime", region_name="us-east-1")

response = client.invoke_model(
    modelId="us.anthropic.claude-opus-4-7",
    body=json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "anthropic_beta": ["computer-use-2025-11-24"],
        "max_tokens": 1024,
        "messages": [
            {"role": "user", "content": "Take a screenshot of the desktop."}
        ],
        "tools": [
            {
                "type": "computer_20251124",
                "name": "computer",
                "display_width_px": 1024,
                "display_height_px": 768,
            }
        ],
    }),
)

result = json.loads(response["body"].read())
print(result["stop_reason"])  # "tool_use" when the model issues a computer action
print(result["content"])      # contains the tool_use block describing the action

Die entsprechende Anforderungsform der bedrock-mantle Messages-API finden Sie unterInferenz mithilfe der Anthropic Messages API.