Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie ein Computer-Nutzungstool, um eine Antwort auf ein Amazon Bedrock-Modell abzuschließen

Die Verwendung von Computern ist eine Anthropic Claude Modellfunktion (in der Betaversion), die nur mit Anthropic Claude 3.7 Sonnet und Claude 3.5 Sonnet v2 verfügbar ist. ClaudeKann Ihnen bei der Computernutzung helfen, Aufgaben durch grundlegende GUI-Aktionen zu automatisieren.

Die Computernutzungs-API bietet mehrere vordefinierte Tools zur Computernutzung (computer_20241022, bash_20241022 und text_editor_20241022), die Sie verwenden können. Sie können dann eine Aufforderung mit Ihrer Anfrage erstellen, z. B. „Senden Sie Ben eine E-Mail mit den Notizen von meinem letzten Treffen“ und einen Screenshot (falls erforderlich). Die Antwort enthält eine Liste von tool_use Aktionen im JSON-Format (z. B. scroll_down, left_button_press, Screenshot). Ihr Code führt die Computeraktionen aus und stellt einen Claude Screenshot zur Verfügung, der die Ausgaben zeigt (falls angefordert).

Der Parameter tools wurde aktualisiert und akzeptiert nun polymorphe Werkzeugtypen. Eine neue tool.type Eigenschaft wurde hinzugefügt, um sie voneinander zu unterscheiden. typeist optional. Wenn es weggelassen wird, wird davon ausgegangen, dass es sich bei dem Werkzeug um ein benutzerdefiniertes Werkzeug handelt (bisher der einzige unterstützte Werkzeugtyp). Zusätzlich wurde ein neuer Parameteranthropic_beta,, mit einem entsprechenden Enum-Wert hinzugefügt:computer-use-2024-10-22. Nur Anfragen, die mit diesem Parameter und Enum gestellt wurden, können die neuen Computerverwendungstools verwenden. Es kann wie folgt angegeben werden:"anthropic_beta": ["computer-use-2024-10-22"] .

Um die Computernutzung mit Anthropic Claude 3.5 Sonnet v2 zu verwenden, können Sie die Converse API verwenden (Converse oder ConverseStream). Sie geben an, dass der Computer bestimmte Felder im additionalModelRequestFields Feld verwendet. Allgemeine Informationen zum Aufrufen der Converse API finden Sie unterFühren Sie eine Konversation mit den Converse API-Operationen.

Es ist möglich, Tools mit den grundlegenden Inferenzoperationen (InvokeModeloder InvokeModelWithResponseStream) zu verwenden. Informationen zu den Inferenzparametern, die Sie im Hauptteil der Anfrage übergeben, finden Sie unter. AnthropicClaudeNachrichten-API

Weitere Informationen finden Sie in der Anthropic Dokumentation unter Computernutzung (Beta).

Beispiel-Code

Der folgende Code zeigt, wie die Computer-Use-API aufgerufen wird. Die Eingabe ist ein Bild der AWS Konsole.

with open('test_images/console.png', 'rb') as f:
        png = f.read()

    response = bedrock.converse(
        modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
        messages=[
            {
                'role': 'user',
                'content': [
                    {
                        'text': 'Go to the bedrock console'
                    },
                    {
                        'image': {
                            'format': 'png',
                            'source': {
                                'bytes': png
                            }
                        }
                    }
                ]
            }
        ],
        additionalModelRequestFields={
            "tools": [
                {
                    "type": "computer_20241022",
                    "name": "computer",
                    "display_height_px": 768,
                    "display_width_px": 1024,
                    "display_number": 0
                },
                {
                    "type": "bash_20241022",
                    "name": "bash",

                },
                {
                    "type": "text_editor_20241022",
                    "name": "str_replace_editor",
                }
            ],
            "anthropic_beta": ["computer-use-2024-10-22"]
        },
        toolConfig={
            'tools': [
                {
                    'toolSpec': {
                        'name': 'get_weather',
                        'inputSchema': {
                            'json': {
                                'type': 'object'
                            }
                        }
                    }
                }
            ]
        })

    print(json.dumps(response, indent=4))

Beispielantwort

Der Beispielcode gibt eine Ausgabe aus, die der folgenden ähnelt.

{
   "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
   "type": "message",
   "role": "assistant",
   "content": [
        {
            "type": "text",
            "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
        },
        {
            "type": "tool_use",
            "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
            "name": "computer",
            "input": {
                "action": "screenshot"
            }
        }
   ],
   "stop_reason": "tool_use",
   "stop_sequence": null,
   "usage": {
       "input_tokens": 3710,
       "output_tokens": 97
   }
}