Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d’un outil informatique pour compléter une réponse au modèle Amazon Bedrock

L’utilisation d’ordinateur est une fonctionnalité du modèle Anthropic Claude (en version bêta) disponible uniquement avec Anthropic Claude 3.7 Sonnet et Claude 3.5 Sonnet v2. Grâce à l’utilisation d’ordinateur, Claude peut vous aider à automatiser les tâches à travers des actions de base de l’interface graphique.

L’API d’utilisation d’ordinateur propose plusieurs outils informatiques prédéfinis (computer_20241022, bash_20241022, and text_editor_20241022) que vous pouvez utiliser. Vous pouvez ensuite créer une invite avec votre demande, telle que « envoyer un e-mail à Ben avec les notes de ma dernière réunion » et une capture d’écran (si nécessaire). La réponse contient une liste d’actions tool_use au format JSON (par exemple, scroll_down, left_button_press, screenshot). Votre code exécute les actions de l’ordinateur et fournit une capture d’écran à Claude présentant les sorties (sur demande).

Le paramètre tools a été mis à jour pour accepter les types d’outils polymorphes ; une propriété tool.type est ajoutée pour les distinguer. Le type est facultatif ; s’il est omis, l’outil est supposé être un outil personnalisé (auparavant le seul type d’outil pris en charge). De plus, un nouveau paramètre, anthropic_beta, a été ajouté, avec une valeur enum correspondante : computer-use-2024-10-22. Seules les requêtes effectuées avec ce paramètre et enum peuvent utiliser les nouveaux outils d’utilisation d’ordinateur. Cela peut être spécifié comme suit : "anthropic_beta": ["computer-use-2024-10-22"] .

Pour utiliser l’utilisation d’un ordinateur avec Anthropic Claude 3.5 Sonnet v2, vous pouvez utiliser l’API Converse (Converse ou ConverseStream). Vous spécifiez que l’ordinateur utilise des champs spécifiques dans le champ additionalModelRequestFields. Pour obtenir des informations générales sur l’appel de l’API Converse, consultez Mener une conversation avec les opérations d’API Converse.

Il est possible d’utiliser des outils avec les opérations d’inférence de base (InvokeModel ou InvokeModelWithResponseStream). Pour trouver les paramètres d’inférence que vous transmettez dans le corps de la demande, consultez l’API Anthropic Claude Message.

Pour plus d’informations, consultez Utilisation d’ordinateur (version bêta) dans la documentation Anthropic.

Exemple de code

Le code suivant montre comment appeler l’API d’utilisation d’ordinateur. L’entrée est une image de la console AWS.

with open('test_images/console.png', 'rb') as f:
        png = f.read()

    response = bedrock.converse(
        modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
        messages=[
            {
                'role': 'user',
                'content': [
                    {
                        'text': 'Go to the bedrock console'
                    },
                    {
                        'image': {
                            'format': 'png',
                            'source': {
                                'bytes': png
                            }
                        }
                    }
                ]
            }
        ],
        additionalModelRequestFields={
            "tools": [
                {
                    "type": "computer_20241022",
                    "name": "computer",
                    "display_height_px": 768,
                    "display_width_px": 1024,
                    "display_number": 0
                },
                {
                    "type": "bash_20241022",
                    "name": "bash",

                },
                {
                    "type": "text_editor_20241022",
                    "name": "str_replace_editor",
                }
            ],
            "anthropic_beta": ["computer-use-2024-10-22"]
        },
        toolConfig={
            'tools': [
                {
                    'toolSpec': {
                        'name': 'get_weather',
                        'inputSchema': {
                            'json': {
                                'type': 'object'
                            }
                        }
                    }
                }
            ]
        })

    print(json.dumps(response, indent=4))

Exemple de réponse

L’exemple de code émet une sortie similaire à l’exemple suivant.

{
   "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
   "type": "message",
   "role": "assistant",
   "content": [
        {
            "type": "text",
            "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
        },
        {
            "type": "tool_use",
            "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
            "name": "computer",
            "input": {
                "action": "screenshot"
            }
        }
   ],
   "stop_reason": "tool_use",
   "stop_sequence": null,
   "usage": {
       "input_tokens": 3710,
       "output_tokens": 97
   }
}