Configuration d’un agent Amazon Bedrock pour effectuer des tâches à l’aide des outils d’utilisation d’ordinateur
L’utilisation d’ordinateur est une fonctionnalité du modèle Anthropic Claude (en version bêta) disponible uniquement avec Anthropic Claude 3.7 Sonnet et Claude 3.5 Sonnet v2.
Avertissement
La fonctionnalité d’utilisation d’ordinateur est mise à votre disposition sous la forme d’un « service bêta » tel que défini dans les conditions d’utilisation AWS. Elle est soumise à votre accord avec AWS et aux Conditions d’utilisation AWS, ainsi qu’au CLUF du modèle applicable. L’utilisation d’ordinateur présente des risques uniques qui sont distincts des fonctionnalités standard de l’API ou des interfaces de chat. Ces risques sont accrus lors de l’utilisation d’un outil d’utilisation d’ordinateur pour interagir avec Internet. Pour minimiser les risques, pensez à prendre les précautions suivantes :
Exploitez les fonctionnalités d’utilisation d’un ordinateur dans une machine virtuelle ou un conteneur dédié avec des privilèges minimaux afin de prévenir les attaques directes du système ou les accidents.
Pour éviter le vol d’informations, évitez de donner à l’API d’utilisation d’ordinateur l’accès à des comptes ou à des données sensibles.
Limitez l’accès Internet de l’API d’utilisation d’ordinateur aux domaines requis afin de réduire l’exposition au contenu malveillant.
Pour garantir une supervision adéquate, gardez une intervention humaine pour les tâches sensibles (telles que la prise de décisions susceptibles d’avoir des conséquences importantes dans le monde réel) et pour tout ce qui nécessite un consentement affirmatif (comme l’acceptation de cookies, l’exécution de transactions financières ou l’acceptation des conditions de service).
Tout contenu que vous autorisez Claude à afficher ou auquel vous l’autorisez à accéder peut potentiellement entraîner l’annulation d’instructions ou amener Claude à commettre des erreurs ou à effectuer des actions involontaires. Il est essentiel de prendre les précautions appropriées, telles que l’isolement de Claude des surfaces sensibles, notamment pour éviter les risques liés à une injection d’invite. Avant d’activer ou de demander les autorisations nécessaires pour activer les fonctionnalités d’utilisation d’ordinateur dans vos propres produits, informez les utilisateurs finaux de tout risque pertinent et obtenez leur consentement le cas échéant.
Dans le cadre de l’utilisation d’ordinateur, un agent Amazon Bedrock peut utiliser Claude pour automatiser des tâches par le biais d’actions d’interface graphique de base et exécuter des commandes Linux que vous implémentez. Par exemple, lorsque cette option est activée, votre agent peut effectuer des captures d’écran, créer et modifier des fichiers texte ou exécuter des commandes Linux. Claude aide l’agent à prédire quels outils et actions à utiliser, et l’agent utilise l’implémentation de vos outils pour terminer la tâche. Afin d’autoriser l’utilisation d’ordinateur pour un agent, vous devez créer un groupe d’actions pour l’agent et spécifier un outil d’utilisation d’ordinateur. Pour plus d’informations sur le flux de travail, consultez Flux de travail.
Votre agent peut utiliser les outils définis par Anthropic suivants :
-
Ordinateur : les actions incluent l’utilisation de la souris et du clavier, et la prise de captures d’écran.
-
TextEditor : les actions incluent l’affichage, la création et la modification de fichiers.
-
Bash : les actions incluent l’exécution de commandes dans un shell Bash.
Pour plus d’informations sur les outils d’utilisation d’ordinateur, notamment des exemples de mise en œuvre et des descriptions d’outils, consultez Utilisation d’ordinateur (version bêta)
Rubriques
Considérations relatives aux barrières de protection
Voici quelques considérations relatives aux barrières de protection relatives aux outils d’utilisation d’ordinateur et aux agents :
-
Nous vous recommandons de mettre en œuvre des mesures de protection pour votre application en associant une barrière de protection à votre agent. Pour plus d’informations, consultez Mise en œuvre des mesures de protection pour votre application en associant une barrière de protection à votre agent.
-
En raison des limites des barrières de protection d’images, si votre application génère du texte à partir d’images, utilisez l’API ApplyGuardrail pour restreindre ce contenu avant de le publier. Pour plus d’informations sur les barrières de protection dans Amazon Bedrock, consultez Détection et filtrage des contenus préjudiciables à l’aide des barrières de protection Amazon Bedrock.
Flux de travail
Pour utiliser des outils d’utilisation d’ordinateur avec vos agents Amazon Bedrock, procédez comme suit :
-
Créez un groupe d’action et spécifiez un outil d’utilisation d’ordinateur. Vous spécifiez les outils disponibles pour l’agent dans l’opération d’API CreateAgentActionGroup ou UpdateAgentActionGroup. Pour les agents en ligne, vous spécifiez l’outil dans l’opération d’API InvokeInlineAgent.
-
Implémentez les fonctions d’utilisation d’ordinateur dans votre application. Par des exemples d’implémentations d’outils, consultez anthropic-quickstarts/computer-use-demo/tools
dans le référentiel GitHub anthropic-quickstarts . -
Gérez les demandes d’outils d’utilisation d’ordinateur émanant des agents pendant les conversations. Après avoir utilisé l’opération d’API InvokeAgent, extrayez l’outil et le choix d’action de la réponse, puis exécutez votre implémentation de l’action de l’outil.
