Utilisation de l’API Converse - Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de l’API Converse

Pour utiliser l’API Converse, vous devez appeler les opérations Converse ou ConverseStream pour envoyer des messages à un modèle. Pour appeler Converse, vous devez disposer de l’autorisation sur l’opération bedrock:InvokeModel. Pour appeler ConverseStream, vous devez disposer de l’autorisation sur l’opération bedrock:InvokeModelWithResponseStream.

Demande

Lorsque vous envoyez une demande Converse à un point de terminaison d’exécution Amazon Bedrock, vous pouvez inclure les champs suivants :

  • modelId : paramètre obligatoire dans l’en-tête qui vous permet de spécifier la ressource à utiliser pour l’inférence.

  • Les champs suivants vous permettent de personnaliser l’invite :

    • messages : à utiliser pour spécifier le contenu et le rôle des invites.

    • system : à utiliser pour spécifier les invites du système, qui définissent les instructions ou le contexte du modèle.

    • inferenceConfig : à utiliser pour spécifier les paramètres d’inférence communs à tous les modèles. Les paramètres d’inférence influencent la génération de la réponse.

    • additionalModelRequestChamps : à utiliser pour spécifier des paramètres d'inférence spécifiques au modèle avec lequel vous exécutez l'inférence.

    • promptVariables : (si vous utilisez une invite de la gestion des invites) utilisez ce champ pour définir les variables de l’invite à renseigner et les valeurs avec lesquelles les remplir.

  • Les champs suivants vous permettent de personnaliser le mode de renvoi de la réponse :

    • guardrailConfig : utilisez ce champ pour inclure une barrière de protection à appliquer à l’ensemble de l’invite.

    • toolConfig : utilisez ce champ pour inclure un outil permettant à un modèle de générer des réponses.

    • additionalModelResponseFieldPaths— Utilisez ce champ pour spécifier les champs à renvoyer sous forme d'objet pointeur JSON.

    • ServiceTier — Utilisez ce champ pour spécifier le niveau de service pour une demande particulière

  • requestMetadata : utilisez ce champ pour inclure des métadonnées qui peuvent être filtrées lors de l’utilisation des journaux d’invocation.

Note

Les restrictions suivantes s’appliquent lorsque vous utilisez une invite de la gestion des invites avec Converse ou ConverseStream :

  • Vous ne pouvez pas inclure les champs additionalModelRequestFields, inferenceConfig, system ni toolConfig.

  • Si vous incluez le champ messages, les messages sont ajoutés après les messages définis dans l’invite.

  • Si vous incluez le champ guardrailConfig, la barrière de protection est appliquée à l’ensemble de l’invite. Si vous incluez guardContent des blocs dans le ContentBlockchamp, le garde-corps ne sera appliqué qu'à ces blocs.

Développez une section pour en savoir plus sur un champ dans le corps de la demande Converse :

Le champ messages est un tableau d’objets Message, dont chacun définit un message entre l’utilisateur et le modèle. Un objet Message contient les champs suivants :

  • rôle : définit si le message provient de user (l’invite envoyée au modèle) ou de assistant (la réponse du modèle).

  • contenu : définit le contenu de l’invite.

    Note

    Amazon Bedrock ne stocke aucun texte, image ou document que vous fournissez sous forme de contenu. Les données ne sont utilisées que pour générer la réponse.

Vous pouvez conserver le contexte de la conversation en incluant tous les messages de la conversation dans les demandes Converse suivantes et en utilisant le champ role pour spécifier si le message provient de l’utilisateur ou du modèle.

Le content champ correspond à un ensemble d'ContentBlockobjets. Dans chacun d'eux ContentBlock, vous pouvez spécifier l'un des champs suivants (pour savoir quels modèles prennent en charge quels blocs, voirModèles et fonctionnalités des modèles pris en charge) :

text

Le champ text correspond à une chaîne spécifiant l’invite. Le text champ est interprété en même temps que les autres champs qui y sont spécifiés ContentBlock.

L'image suivante montre un objet Message avec un content tableau contenant uniquement du texte ContentBlock:

{ "role": "user", "content": [ { "text": "string" } ] }
image

Le image champ correspond à un ImageBlock. Passez les octets bruts, codés en Base64, pour une image dans le champ bytes. Si vous utilisez un AWS SDK, vous n'avez pas besoin de coder les octets en base64.

Si vous excluez le champ text, le modèle décrit l’image.

Voici un exemple d'objet Message avec un content tableau contenant uniquement une image ContentBlock:

{ "role": "user", "content": [ { "image": { "format": "png", "source": { "bytes": "image in bytes" } } } ] }

Vous pouvez également spécifier un URI Amazon S3 au lieu de transmettre les octets directement dans le corps de la demande. Voici un exemple d’objet Message avec un tableau de contenu contenant la source transmise via un URI Amazon S3.

{ "role": "user", "content": [ { "image": { "format": "png", "source": { "s3Location": { "uri": "s3://amzn-s3-demo-bucket/myImage", "bucketOwner": "111122223333" } } } } ] }
document

Le document champ correspond à un DocumentBlock. Si vous incluez un DocumentBlock, vérifiez que votre demande est conforme aux restrictions suivantes :

  • Dans le champ content de l’objet Message, vous devez également inclure un champ text contenant une invite liée au document.

  • Transmettez les octets bruts, codés en Base64, pour le document dans le champ bytes. Si vous utilisez un kit AWS SDK, vous n’avez pas besoin de coder les octets du document en Base64.

  • Le champ name peut contenir uniquement les caractères suivants :

    • Caractères alphanumériques

    • Caractères d’espacement (pas plus d’un par ligne)

    • Traits d’union

    • Parenthèses

    • Crochets

    Note

    Le champ name est vulnérable aux injections d’invite, car le modèle risque de l’interpréter par inadvertance comme des instructions. Nous vous recommandons donc de spécifier un nom neutre.

Lorsque vous utilisez un document, vous pouvez activer la balise citations, qui fournira des citations spécifiques au document en réponse à l’appel d’API. Consultez l'DocumentBlockAPI pour plus de détails.

Voici un exemple d'objet Message avec un content tableau contenant uniquement un document ContentBlocket le texte d'accompagnement obligatoire ContentBlock.

{ "role": "user", "content": [ { "text": "string" }, { "document": { "format": "pdf", "name": "MyDocument", "source": { "bytes": "document in bytes" } } } ] }

Vous pouvez également spécifier un URI Amazon S3 au lieu de transmettre les octets directement dans le corps de la demande. Voici un exemple d’objet Message avec un tableau de contenu contenant la source transmise via un URI Amazon S3.

{ "role": "user", "content": [ { "text": "string" }, { "document": { "format": "pdf", "name": "MyDocument", "source": { "s3Location": { "uri": "s3://amzn-s3-demo-bucket/myDocument", "bucketOwner": "111122223333" } } } } ] }
video

Le video champ correspond à un VideoBlockobjet. Transmettez les octets bruts dans le champ bytes, codés en Base64. Si vous utilisez le AWS SDK, vous n'avez pas besoin de coder les octets en base64.

Si vous n’incluez pas le champ text, le modèle décrira la vidéo.

Ce qui suit montre un exemple d'objet Message avec un content tableau contenant uniquement une vidéo ContentBlock.

{ "role": "user", "content": [ { "video": { "format": "mp4", "source": { "bytes": "video in bytes" } } } ] }

Vous pouvez également spécifier un URI Amazon S3 au lieu de transmettre les octets directement dans le corps de la demande. Voici un exemple d’objet Message avec un tableau de contenu contenant la source transmise via un URI Amazon S3.

{ "role": "user", "content": [ { "video": { "format": "mp4", "source": { "s3Location": { "uri": "s3://amzn-s3-demo-bucket/myVideo", "bucketOwner": "111122223333" } } } } ] }
Note

Le rôle assumé doit avoir l’autorisation s3:GetObject sur l’URI Amazon S3. Le champ bucketOwner est facultatif mais doit être spécifié si le compte à l’origine de la demande ne possède pas le compartiment dans lequel se trouve l’URI Amazon S3. Pour de plus amples informations, veuillez consulter Configuration de l’accès aux compartiments Amazon S3.

cachePoint

Vous pouvez ajouter des points de contrôle du cache sous forme de bloc dans un message accompagné d’une invite en utilisant des champs cachePoint pour utiliser la mise en cache des invites. La mise en cache des invites est une fonctionnalité qui vous permet de commencer à mettre en cache le contexte des conversations afin de réaliser des économies de coûts et de latence. Pour de plus amples informations, veuillez consulter Mise en cache des invites pour une inférence de modèle plus rapide.

Ce qui suit montre un exemple d'objet Message avec un content tableau contenant un document ContentBlocket le texte d'accompagnement requis ContentBlock, ainsi qu'un CachePoint qui ajoute le contenu du document et du texte au cache.

{ "role": "user", "content": [ { "text": "string" }, { "document": { "format": "pdf", "name": "string", "source": { "bytes": "document in bytes" } } }, { "cachePoint": { "type": "default" } } ] }
guardContent

Le guardContent champ correspond à un GuardrailConverseContentBlockobjet. Vous pouvez utiliser ce champ pour cibler une entrée à évaluer par la barrière de protection définie dans le champ guardrailConfig. Si vous ne spécifiez pas ce champ, la barrière de protection évalue tous les messages du corps de la demande. Vous pouvez transmettre les types de contenu suivants dans un GuardBlock :

  • text — Voici un exemple d'objet Message avec un content tableau contenant uniquement du texte GuardrailConverseContentBlock:

    { "role": "user", "content": [ { "text": "Tell me what stocks to buy.", "qualifiers": [ "guard_content" ] } ] }

    Vous définissez le texte à évaluer et incluez tous les qualificatifs à utiliser pour étayer le l’ancrage contextuel.

  • image — Ce qui suit montre un objet Message avec un content tableau contenant uniquement une image GuardrailConverseContentBlock:

    { "role": "user", "content": [ { "format": "png", "source": { "bytes": "image in bytes" } } ] }

    Vous spécifiez le format de l’image et définissez l’image en octets.

Pour plus d’informations sur les barrières de protection, consultez Détection et filtrage des contenus préjudiciables à l’aide des barrières de protection Amazon Bedrock.

reasoningContent

Le reasoningContent champ correspond à un ReasoningContentBlock. Ce bloc contient du contenu concernant le raisonnement qui a été appliqué par le modèle pour générer la réponse dans le ContentBlock d’accompagnement.

Ce qui suit montre un objet Message avec un tableau content contenant uniquement un ReasoningContentBlock et un ContentBlock de texte d’accompagnement.

{ "role": "user", "content": [ { "text": "string" }, { "reasoningContent": { "reasoningText": { "text": "string", "signature": "string" } "redactedContent": "base64-encoded binary data object" } } ] }

Le ReasoningContentBlock contient le raisonnement utilisé pour générer le contenu d’accompagnement dans le champ reasoningText, en plus de tout contenu du raisonnement qui a été crypté par le fournisseur du modèle pour des raisons de confiance et de sécurité dans le champ redactedContent.

Dans le champ reasoningText, les champs text décrivent le raisonnement. Le champ signature est un hachage de tous les messages de la conversation et constitue une protection contre toute modification du raisonnement utilisé par le modèle. Vous devez inclure la signature et tous les messages précédents dans les demandes Converse suivantes. Si l’un des messages est modifié, la réponse génère une erreur.

toolUse

Contient des informations sur un outil destiné au modèle à utiliser. Pour de plus amples informations, veuillez consulter Utilisation d’un outil pour compléter une réponse au modèle Amazon Bedrock.

toolResult

Contient des informations sur le résultat obtenu par le modèle utilisant un outil. Pour de plus amples informations, veuillez consulter Utilisation d’un outil pour compléter une réponse au modèle Amazon Bedrock.

Note

Les restrictions suivantes s’appliquent au champ content :

  • Vous pouvez inclure jusqu’à 20 images. La taille, la hauteur et la largeur de chaque image ne doivent pas dépasser 3,75 Mo, 8 000 pixels et 8 000 pixels, respectivement.

  • Vous pouvez inclure jusqu’à cinq documents. La taille de chaque document ne doit pas dépasser 4,5 Mo.

  • Vous ne pouvez inclure des images et des documents que si le role est user.

Dans l’exemple messages suivant, l’utilisateur demande une liste de trois chansons pop, et le modèle génère une liste de chansons.

[ { "role": "user", "content": [ { "text": "Create a list of 3 pop songs." } ] }, { "role": "assistant", "content": [ { "text": "Here is a list of 3 pop songs by artists from the United Kingdom:\n\n1. \"As It Was\" by Harry Styles\n2. \"Easy On Me\" by Adele\n3. \"Unholy\" by Sam Smith and Kim Petras" } ] } ]

Une invite système est un type d’invite qui fournit des instructions ou un contexte au modèle concernant la tâche qu’il doit effectuer ou le personnage qu’il doit adopter au cours de la conversation. Vous pouvez spécifier une liste d'invites système pour la demande dans le champ system (SystemContentBlock), comme illustré dans l'exemple suivant.

[ { "text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. " } ]

L'ConverseAPI prend en charge un ensemble de base de paramètres d'inférence que vous définissez dans le inferenceConfig champ (InferenceConfiguration). Le jeu de base des paramètres d’inférence est le suivant :

  • maxTokens : le nombre maximum de jetons à autoriser dans la réponse générée.

  • stopSequences : liste de séquences d’arrêt. Une séquence d’arrêt est une séquence de caractères qui empêche le modèle de générer la réponse.

  • Température : probabilité que le modèle sélectionne des options à probabilité plus élevée tout en générant une réponse.

  • topP : pourcentage de candidats les plus probables pris en compte par le modèle pour le jeton suivant.

Pour de plus amples informations, veuillez consulter Génération de réponse d’influence à l’aide de paramètres d’inférence.

L’exemple JSON suivant définit le paramètre d’inférence temperature.

{"temperature": 0.5}

Si le modèle que vous utilisez possède des paramètres d’inférence supplémentaires, vous pouvez définir ces paramètres en les spécifiant au format JSON dans le champ additionalModelRequestFields. L’exemple JSON suivant montre comment définir top_k, qui est disponible dans les modèles Anthropic Claude, mais qui n’est pas un paramètre d’inférence de base dans l’API de messages.

{"top_k": 200}

Si vous spécifiez une invite de Prompt Management dans le modelId comme ressource sur laquelle exécuter l’inférence, utilisez ce champ pour renseigner les variables d’invite avec des valeurs réelles. Le champ promptVariables correspond à un objet JSON dont les clés correspondent aux variables définies dans les invites et aux valeurs par lesquelles les variables doivent être remplacées.

Par exemple, supposons que vous ayez une invite indiquant Make me a {{genre}} playlist consisting of the following number of songs: {{number}}. L’ID de l’invite est PROMPT12345 et sa version est 1. Vous pouvez envoyer la demande Converse suivante pour remplacer les variables :

POST /model/arn:aws:bedrock:us-east-1:111122223333:prompt/PROMPT12345:1/converse HTTP/1.1 Content-type: application/json { "promptVariables": { "genre" : "pop", "number": 3 } }

Vous pouvez appliquer une barrière de protection que vous avez créée avec les barrières de protection Amazon Bedrock en incluant ce champ. Pour appliquer le garde-corps à un message spécifique de la conversation, incluez le message dans un. GuardrailConverseContentBlock Si vous n’incluez aucun GuardrailConverseContentBlock dans le corps de la demande, la barrière de protection est appliquée à tous les messages du champ messages. Pour obtenir un exemple, consultez Intégration d’une barrière de protection à l’API Converse.

Ce champ vous permet de définir un outil que le modèle doit utiliser pour l’aider à générer une réponse. Pour de plus amples informations, veuillez consulter Utilisation d’un outil pour compléter une réponse au modèle Amazon Bedrock.

Vous pouvez spécifier les chemins des paramètres de modèle supplémentaires dans le champ additionalModelResponseFieldPaths, comme illustré dans l’exemple suivant.

[ "/stop_sequence" ]

L’API renvoie les champs supplémentaires que vous demandez dans le champ additionalModelResponseFields.

Ce champ est mappé à un objet JSON. Vous pouvez spécifier les clés de métadonnées et les valeurs auxquelles elles correspondent dans cet objet. Vous pouvez utiliser les métadonnées des demandes pour filtrer les journaux d’invocation des modèles.

Ce champ est mappé à un objet JSON. Vous pouvez spécifier le niveau de service pour une demande particulière.

L'exemple suivant illustre la serviceTier structure :

"serviceTier": { "type": "reserved" | "priority" | "default" | "flex" }

Pour obtenir des informations détaillées sur les niveaux de service, y compris les caractéristiques de tarification et de performance, consultezNiveaux de service pour optimiser les performances et les coûts.

Vous pouvez également éventuellement ajouter des points de contrôle du cache aux champs system ou tools pour utiliser la mise en cache des invites, selon le modèle que vous utilisez. Pour de plus amples informations, veuillez consulter Mise en cache des invites pour une inférence de modèle plus rapide.

Réponse

La réponse que vous obtenez de l’API Converse dépend de l’opération que vous appelez, Converse ou ConverseStream.

Réponse inverse

Dans le formulaire de réponseConverse, le output champ (ConverseOutput) contient le message (Message) généré par le modèle. Le contenu du message se trouve dans le champ content (ContentBlock) et le rôle (userouassistant) auquel le message correspond se trouve dans le role champ.

Si vous avez utilisé la mise en cache des invites, alors dans le champ d’utilisation, cacheReadInputTokensCount et cacheWriteInputTokensCount vous indiquent combien de jetons au total ont été lus depuis le cache et écrits dans le cache, respectivement.

Si vous avez utilisé des niveaux de service, le champ de réponse vous service tier indiquera quel niveau de service a été utilisé pour la demande.

Le metrics champ (ConverseMetrics) inclut les métriques de l'appel. Pour déterminer pourquoi le modèle a cessé de générer du contenu, vérifiez le champ stopReason. Vous pouvez obtenir des informations sur les jetons transmis au modèle dans la demande et sur les jetons générés dans la réponse en cochant le usage champ (TokenUsage). Si vous avez spécifié des champs de réponse supplémentaires dans la demande, l’API les renvoie au format JSON dans le champ additionalModelResponseFields.

L’exemple suivant montre la réponse de Converse lorsque vous avez répondu à l’invite décrite dans Demande.

{ "output": { "message": { "role": "assistant", "content": [ { "text": "Here is a list of 3 pop songs by artists from the United Kingdom:\n\n1. \"Wannabe\" by Spice Girls\n2. \"Bitter Sweet Symphony\" by The Verve \n3. \"Don't Look Back in Anger\" by Oasis" } ] } }, "stopReason": "end_turn", "usage": { "inputTokens": 125, "outputTokens": 60, "totalTokens": 185 }, "metrics": { "latencyMs": 1175 } }

ConverseStream réponse

Si vous appelez ConverseStream pour diffuser la réponse d’un modèle, le flux est renvoyé dans le champ de réponse stream. Le flux émet les événements suivants dans l’ordre suivant.

  1. messageStart(MessageStartEvent). L'événement de début d'un message. Inclut le rôle du message.

  2. contentBlockStart(ContentBlockStartEvent). Un événement de démarrage d'un bloc de contenu. Utilisation d’outils uniquement.

  3. contentBlockDelta(ContentBlockDeltaEvent). Un événement delta du bloc de contenu. Essayez l’une des actions suivantes :

    • text : texte partiel généré par le modèle.

    • reasoningContent : raisonnement partiel effectué par le modèle pour générer la réponse. Vous devez envoyer le signature renvoyé, en plus de tous les messages précédents, dans les demandes Converse suivantes. Si l’un des messages est modifié, la réponse génère une erreur.

    • toolUse : l’objet JSON d’entrée partielle destiné à l’utilisation de l’outil.

  4. contentBlockStop(ContentBlockStopEvent). Un événement d'arrêt du blocage du contenu.

  5. messageStop(MessageStopEvent). L'événement d'arrêt du message. Inclut la raison pour laquelle le modèle a cessé de générer une sortie.

  6. metadata(ConverseStreamMetadataEvent). Métadonnées relatives à la demande. Les métadonnées incluent l'utilisation du jeton dans usage (TokenUsage) et les métriques de l'appel dans metrics (ConverseStreamMetadataEvent).

ConverseStream diffuse un bloc de contenu complet sous forme d'ContentBlockStartEventévénement, d'un ou de plusieurs ContentBlockDeltaEvent événements et d'un ContentBlockStopEvent événement. Utilisez le champ contentBlockIndex comme index pour corréler les événements qui constituent un bloc de contenu.

Voici un exemple de réponse partielle renvoyée par ConverseStream.

{'messageStart': {'role': 'assistant'}} {'contentBlockDelta': {'delta': {'text': ''}, 'contentBlockIndex': 0}} {'contentBlockDelta': {'delta': {'text': ' Title'}, 'contentBlockIndex': 0}} {'contentBlockDelta': {'delta': {'text': ':'}, 'contentBlockIndex': 0}} . . . {'contentBlockDelta': {'delta': {'text': ' The'}, 'contentBlockIndex': 0}} {'messageStop': {'stopReason': 'max_tokens'}} {'metadata': {'usage': {'inputTokens': 47, 'outputTokens': 20, 'totalTokens': 67}, 'metrics': {'latencyMs': 100.0}}}