View a markdown version of this page

Usa strumenti di utilizzo del computer per automatizzare le attività della GUI con i modelli Amazon Bedrock - Amazon Bedrock
Usa l'uso del computer su Amazon BedrockRichiesta di esempio

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa strumenti di utilizzo del computer per automatizzare le attività della GUI con i modelli Amazon Bedrock

L'uso del computer è una famiglia di Anthropic Claude strumenti (in versione beta) per automatizzare le attività dell'interfaccia utente grafica (GUI). Il modello restituisce tool_use azioni comescreenshot, left_clicktype, e scroll in JSON. L'applicazione esegue tali azioni su un desktop o un contenitore e restituisce lo screenshot risultante Claude al turno successivo.

Per il protocollo dello strumento sottostante, l'elenco completo delle azioni e le istruzioni per la progettazione tempestiva, consulta Uso del computer nella documentazione. Anthropic Questa pagina descrive l' Bedrock-specificutilizzo di Amazon in aggiunta a quel protocollo.

avvertimento

L'uso del computer è reso disponibile all'utente come «Servizio Beta», come definito nei Termini AWS di servizio. È soggetto al Contratto con l'utente AWS, ai Termini AWS di servizio e al modello di EULA applicabile. L'API Computer Use presenta rischi unici, distinti dalle funzionalità API standard o dalle interfacce di chat. Questi rischi aumentano quando si utilizza l’API per l’utilizzo del compute per interagire con Internet. Per ridurre al minimo i rischi, prendi delle precauzioni come:

  • Esegui la funzionalità di utilizzo del computer in una macchina virtuale o in un container dedicato con privilegi minimi per prevenire attacchi diretti al sistema o incidenti.

  • Per prevenire il furto di informazioni, evita di concedere all’API di utilizzo del computer l’accesso ad account o dati sensibili.

  • Limita l'accesso a Internet dell'API Computer Use ai domini richiesti per ridurre l'esposizione a contenuti dannosi.

  • Per garantire un’adeguata supervisione, mantieni un intervento di tipo HITL per le attività sensibili (come prendere decisioni che potrebbero avere conseguenze significative nel mondo reale) e per qualsiasi attività che richieda un consenso esplicito (come accettare i cookie, eseguire transazioni finanziarie o accettare i termini di servizio).

Qualsiasi contenuto reso disponibile a Claude per la visualizzazione o l’accesso può interferire con le istruzioni, causando errori o l’esecuzione di azioni indesiderate da parte di Claude. Adottare le dovute precauzioni, ad esempio isolare Claude dalle superfici sensibili, è essenziale, anche per evitare i rischi legati all’iniezione di prompt tempestiva. Prima di abilitare o richiedere le autorizzazioni necessarie per attivare le funzionalità di utilizzo del computer nei tuoi prodotti, informa gli utenti finali di eventuali rischi pertinenti e ottieni il loro consenso, se appropriato.

Usa l'uso del computer su Amazon Bedrock

L'uso del computer è supportato sia sugli endpoint che sugli bedrock-runtime bedrock-mantle endpoint. Per scoprire quali modelli supportano l'uso del computer su ciascun endpoint, consulta la tabella Capacità e caratteristiche di ciascuno di essi. I modelli a colpo d'occhio L'invio di una richiesta a un modello che non supporta l'uso del computer o l'associazione di un tipo di strumento a un modello non supportato restituisce un. 400 invalid_request_error

Per abilitare l'uso del computer su richiesta, includi entrambi:

  • Una anthropic_beta voce che nomina una versione beta per uso informatico (ad esempio, "anthropic_beta": ["computer-use-2025-11-24"] nel corpo della richiesta per bedrock-runtime o nell'intestazione anthropic-beta: computer-use-2025-11-24 HTTP per). bedrock-mantle

  • Una o più voci dello strumento Anthropic predefinite nell'toolsarray, con un type campo che corrisponde alla versione beta (ad esempio,, computer_20251124 o). bash_20250124 text_editor_20250124

Per gli abbinamenti tra versione beta e tipo di strumento, gli strumenti aggiuntivi Anthropic definiti (bash e editor di testo) e la documentazione completa dei campi di richiesta e risposta, vedere. Utilizzo del computer (Beta)

Richiesta di esempio

Il seguente esempio di Python invia una richiesta API Messages tramite l'bedrock-runtimeendpoint con lo strumento di utilizzo del computer. Sostituiscilo modelId con uno che supporti l'uso del computer (vediI modelli a colpo d'occhio).

import boto3
import json

client = boto3.client("bedrock-runtime", region_name="us-east-1")

response = client.invoke_model(
    modelId="us.anthropic.claude-opus-4-7",
    body=json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "anthropic_beta": ["computer-use-2025-11-24"],
        "max_tokens": 1024,
        "messages": [
            {"role": "user", "content": "Take a screenshot of the desktop."}
        ],
        "tools": [
            {
                "type": "computer_20251124",
                "name": "computer",
                "display_width_px": 1024,
                "display_height_px": 768,
            }
        ],
    }),
)

result = json.loads(response["body"].read())
print(result["stop_reason"])  # "tool_use" when the model issues a computer action
print(result["content"])      # contains the tool_use block describing the action

Per la forma di richiesta dell'API bedrock-mantle Messages equivalente, vediInferenza utilizzando l'API Anthropic Messages.