As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Use uma ferramenta Computer Use para concluir uma resposta do modelo do Amazon Bedrock

Computer Use é um recurso do modelo Claude da Anthropic (em versão beta) disponível somente com o Claude 3.7 Sonnet e Claude 3.5 Sonnet v2 da Anthropic. Com o Computer Use, o Claude pode ajudar a automatizar tarefas por meio de ações básicas da GUI.

A API Computer Use oferece várias ferramentas predefinidas de Computer Use (computer_20241022, bash_20241022 e text_editor_20241022). É possível criar um prompt com sua solicitação, como “enviar um e-mail para Ben com as anotações da minha última reunião” e uma captura de tela (quando necessário). A resposta contém uma lista de ações de tool_use no formato JSON (por exemplo, scroll_down, left_button_press, screenshot). Seu código executa as ações do computador e fornece ao Claude uma captura de tela mostrando as saídas (quando solicitado).

O parâmetro tools foi atualizado para aceitar tipos de ferramentas polimórficas; uma nova propriedade tool.type está sendo adicionada para diferenciá-las. type é opcional; se omitida, a ferramenta será considerada uma ferramenta personalizada (anteriormente o único tipo de ferramenta compatível). Além disso, um novo parâmetro, anthropic_beta, foi adicionado, com um valor de enumeração correspondente: computer-use-2024-10-22. Somente solicitações feitas com esse parâmetro e enum podem usar as novas ferramentas de Computer Use. Ele pode ser especificado da seguinte forma: "anthropic_beta": ["computer-use-2024-10-22"] .

Para usar a Computer Use com o Claude 3.5 Sonnet v2 da Anthropic, você pode usar a API Converse (Converse ou ConverseStream). Defina os campos específicos de Computer Use no campo additionalModelRequestFields. Para ter informações gerais sobre como chamar a API Converse, consulte Realizar uma conversa com as operações de API Converse.

É possível usar ferramentas com as operações de inferência de base (InvokeModel ou InvokeModelWithResponseStream). Para encontrar os parâmetros de inferência que você passa no corpo da solicitação, consulte API Messages do Claude da Anthropic.

Para obter mais informações, consulte Computer Use (beta) na documentação da Anthropic.

Código de exemplo

O código a seguir mostra como chamar a API Computer Use. A entrada é uma imagem do Console da AWS.

with open('test_images/console.png', 'rb') as f:
        png = f.read()

    response = bedrock.converse(
        modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
        messages=[
            {
                'role': 'user',
                'content': [
                    {
                        'text': 'Go to the bedrock console'
                    },
                    {
                        'image': {
                            'format': 'png',
                            'source': {
                                'bytes': png
                            }
                        }
                    }
                ]
            }
        ],
        additionalModelRequestFields={
            "tools": [
                {
                    "type": "computer_20241022",
                    "name": "computer",
                    "display_height_px": 768,
                    "display_width_px": 1024,
                    "display_number": 0
                },
                {
                    "type": "bash_20241022",
                    "name": "bash",

                },
                {
                    "type": "text_editor_20241022",
                    "name": "str_replace_editor",
                }
            ],
            "anthropic_beta": ["computer-use-2024-10-22"]
        },
        toolConfig={
            'tools': [
                {
                    'toolSpec': {
                        'name': 'get_weather',
                        'inputSchema': {
                            'json': {
                                'type': 'object'
                            }
                        }
                    }
                }
            ]
        })

    print(json.dumps(response, indent=4))

Exemplo de resposta

O exemplo de código emite saída semelhante à seguinte.

{
   "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
   "type": "message",
   "role": "assistant",
   "content": [
        {
            "type": "text",
            "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
        },
        {
            "type": "tool_use",
            "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
            "name": "computer",
            "input": {
                "action": "screenshot"
            }
        }
   ],
   "stop_reason": "tool_use",
   "stop_sequence": null,
   "usage": {
       "input_tokens": 3710,
       "output_tokens": 97
   }
}