View a markdown version of this page

Use ferramentas de uso do computador para automatizar tarefas de GUI com modelos Amazon Bedrock - Amazon Bedrock
Use o uso do computador no Amazon BedrockExemplo de solicitação

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Use ferramentas de uso do computador para automatizar tarefas de GUI com modelos Amazon Bedrock

O uso do computador é uma família de Anthropic Claude ferramentas (em versão beta) para automatizar tarefas de interface gráfica do usuário (GUI). O modelo retorna tool_use ações comoscreenshot, left_clicktype, e scroll em JSON. Seu aplicativo executa essas ações em um desktop ou contêiner e retorna a captura de tela resultante Claude no próximo turno.

Para obter o protocolo da ferramenta subjacente, a lista completa de ações e as diretrizes de engenharia imediata, consulte Uso do computador na Anthropic documentação. Esta página aborda o Bedrock-specific uso da Amazon além desse protocolo.

Atenção

O uso do computador é disponibilizado para você como um “Serviço Beta”, conforme definido nos Termos do AWS Serviço. Está sujeito ao seu Contrato com AWS, aos Termos AWS de Serviço e ao modelo de EULA aplicável. A API de uso do computador apresenta riscos exclusivos, distintos dos recursos padrão da API ou das interfaces de bate-papo. Esses riscos aumentam ao usar a API Computer Use para interagir com a internet. Para minimizar os riscos, considere tomar precauções, como:

  • Operar a funcionalidade Computer Use em uma máquina virtual ou contêiner dedicado com privilégios mínimos para evitar acidentes ou ataques diretos ao sistema.

  • Para impedir o roubo de informações, evite fornecer à API Computer Use acesso a contas ou dados sensíveis.

  • Limite o acesso à Internet da API de uso do computador aos domínios necessários para reduzir a exposição a conteúdo malicioso.

  • Para garantir a supervisão adequada, mantenha uma pessoa informada sobre tarefas confidenciais (como tomar decisões que possam ter consequências significativas no mundo real) e sobre qualquer coisa que exija consentimento afirmativo (como aceitar cookies, executar transações financeiras ou concordar com os termos de serviço).

Qualquer conteúdo que você permita que o Claude veja ou acesse pode potencialmente substituir as instruções ou provocar erros no Claude ou executar ações indesejadas. Tomar as devidas precauções, como isolar o Claude de superfícies confidenciais, é essencial, inclusive para evitar riscos relacionados à injeção de prompt. Antes de habilitar ou solicitar as permissões necessárias para habilitar os recursos do Computer Use em seus próprios produtos, informe os usuários finais sobre quaisquer riscos relevantes e obtenha o consentimento deles conforme apropriado.

Use o uso do computador no Amazon Bedrock

O uso do computador é suportado nos bedrock-mantle terminais bedrock-runtime e nos terminais. Para descobrir quais modelos oferecem suporte ao uso do computador em cada endpoint, consulte a tabela Capacidades e Recursos em cada umVisão geral dos modelos. Enviar uma solicitação para um modelo que não suporta o uso do computador, ou emparelhar um tipo de ferramenta com um modelo não compatível, retorna uma. 400 invalid_request_error

Para habilitar o uso do computador em uma solicitação, inclua os dois:

  • Uma anthropic_beta entrada nomeando uma versão beta para uso do computador (por exemplo, "anthropic_beta": ["computer-use-2025-11-24"] no corpo da solicitação ou no cabeçalho anthropic-beta: computer-use-2025-11-24 HTTP de). bedrock-runtime bedrock-mantle

  • Uma ou mais entradas de ferramentas Anthropic predefinidas na tools matriz, com um type campo que corresponde à versão beta (por exemplo, computer_20251124bash_20250124, outext_editor_20250124).

Para obter os emparelhamentos da versão beta com o tipo de ferramenta, ferramentas adicionais Anthropic definidas (bash e editor de texto) e a documentação completa dos campos de solicitação e resposta, consulte. Computer Use (Beta)

Exemplo de solicitação

O exemplo de Python a seguir envia uma solicitação da API de mensagens pelo bedrock-runtime endpoint com a ferramenta de uso do computador. modelIdSubstitua o por um que suporte o uso do computador (consulteVisão geral dos modelos).

import boto3
import json

client = boto3.client("bedrock-runtime", region_name="us-east-1")

response = client.invoke_model(
    modelId="us.anthropic.claude-opus-4-7",
    body=json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "anthropic_beta": ["computer-use-2025-11-24"],
        "max_tokens": 1024,
        "messages": [
            {"role": "user", "content": "Take a screenshot of the desktop."}
        ],
        "tools": [
            {
                "type": "computer_20251124",
                "name": "computer",
                "display_width_px": 1024,
                "display_height_px": 768,
            }
        ],
    }),
)

result = json.loads(response["body"].read())
print(result["stop_reason"])  # "tool_use" when the model issues a computer action
print(result["content"])      # contains the tool_use block describing the action

Para o formato de solicitação equivalente da API de bedrock-mantle mensagens, consulteInferência usando a API de mensagens antrópicas.