Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation de l’API Converse
Pour utiliser l’API Converse, vous devez appeler les opérations Converse ou ConverseStream pour envoyer des messages à un modèle. Pour appeler Converse, vous devez disposer de l’autorisation sur l’opération bedrock:InvokeModel. Pour appeler ConverseStream, vous devez disposer de l’autorisation sur l’opération bedrock:InvokeModelWithResponseStream.
Demande
Lorsque vous envoyez une demande Converse à un point de terminaison d’exécution Amazon Bedrock, vous pouvez inclure les champs suivants :
-
modelId : paramètre obligatoire dans l’en-tête qui vous permet de spécifier la ressource à utiliser pour l’inférence.
-
Les champs suivants vous permettent de personnaliser l’invite :
-
messages : à utiliser pour spécifier le contenu et le rôle des invites.
-
system : à utiliser pour spécifier les invites du système, qui définissent les instructions ou le contexte du modèle.
-
inferenceConfig : à utiliser pour spécifier les paramètres d’inférence communs à tous les modèles. Les paramètres d’inférence influencent la génération de la réponse.
-
additionalModelRequestChamps : à utiliser pour spécifier des paramètres d'inférence spécifiques au modèle avec lequel vous exécutez l'inférence.
-
promptVariables : (si vous utilisez une invite de la gestion des invites) utilisez ce champ pour définir les variables de l’invite à renseigner et les valeurs avec lesquelles les remplir.
-
-
Les champs suivants vous permettent de personnaliser le mode de renvoi de la réponse :
-
guardrailConfig : utilisez ce champ pour inclure une barrière de protection à appliquer à l’ensemble de l’invite.
-
toolConfig : utilisez ce champ pour inclure un outil permettant à un modèle de générer des réponses.
-
additionalModelResponseFieldPaths— Utilisez ce champ pour spécifier les champs à renvoyer sous forme d'objet pointeur JSON.
-
ServiceTier — Utilisez ce champ pour spécifier le niveau de service pour une demande particulière
-
-
requestMetadata : utilisez ce champ pour inclure des métadonnées qui peuvent être filtrées lors de l’utilisation des journaux d’invocation.
Note
Les restrictions suivantes s’appliquent lorsque vous utilisez une invite de la gestion des invites avec Converse ou ConverseStream :
-
Vous ne pouvez pas inclure les champs
additionalModelRequestFields,inferenceConfig,systemnitoolConfig. -
Si vous incluez le champ
messages, les messages sont ajoutés après les messages définis dans l’invite. -
Si vous incluez le champ
guardrailConfig, la barrière de protection est appliquée à l’ensemble de l’invite. Si vous incluezguardContentdes blocs dans le ContentBlockchamp, le garde-corps ne sera appliqué qu'à ces blocs.
Développez une section pour en savoir plus sur un champ dans le corps de la demande Converse :
Le champ messages est un tableau d’objets Message, dont chacun définit un message entre l’utilisateur et le modèle. Un objet Message contient les champs suivants :
-
rôle : définit si le message provient de
user(l’invite envoyée au modèle) ou deassistant(la réponse du modèle). -
contenu : définit le contenu de l’invite.
Note
Amazon Bedrock ne stocke aucun texte, image ou document que vous fournissez sous forme de contenu. Les données ne sont utilisées que pour générer la réponse.
Vous pouvez conserver le contexte de la conversation en incluant tous les messages de la conversation dans les demandes Converse suivantes et en utilisant le champ role pour spécifier si le message provient de l’utilisateur ou du modèle.
Le content champ correspond à un ensemble d'ContentBlockobjets. Dans chacun d'eux ContentBlock, vous pouvez spécifier l'un des champs suivants (pour savoir quels modèles prennent en charge quels blocs, voirModèles et fonctionnalités des modèles pris en charge) :
Note
Les restrictions suivantes s’appliquent au champ content :
-
Vous pouvez inclure jusqu’à 20 images. La taille, la hauteur et la largeur de chaque image ne doivent pas dépasser 3,75 Mo, 8 000 pixels et 8 000 pixels, respectivement.
-
Vous pouvez inclure jusqu’à cinq documents. La taille de chaque document ne doit pas dépasser 4,5 Mo.
-
Vous ne pouvez inclure des images et des documents que si le
roleestuser.
Dans l’exemple messages suivant, l’utilisateur demande une liste de trois chansons pop, et le modèle génère une liste de chansons.
[ { "role": "user", "content": [ { "text": "Create a list of 3 pop songs." } ] }, { "role": "assistant", "content": [ { "text": "Here is a list of 3 pop songs by artists from the United Kingdom:\n\n1. \"As It Was\" by Harry Styles\n2. \"Easy On Me\" by Adele\n3. \"Unholy\" by Sam Smith and Kim Petras" } ] } ]
Une invite système est un type d’invite qui fournit des instructions ou un contexte au modèle concernant la tâche qu’il doit effectuer ou le personnage qu’il doit adopter au cours de la conversation. Vous pouvez spécifier une liste d'invites système pour la demande dans le champ system (SystemContentBlock), comme illustré dans l'exemple suivant.
[ { "text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. " } ]
L'ConverseAPI prend en charge un ensemble de base de paramètres d'inférence que vous définissez dans le inferenceConfig champ (InferenceConfiguration). Le jeu de base des paramètres d’inférence est le suivant :
-
maxTokens : le nombre maximum de jetons à autoriser dans la réponse générée.
-
stopSequences : liste de séquences d’arrêt. Une séquence d’arrêt est une séquence de caractères qui empêche le modèle de générer la réponse.
-
Température : probabilité que le modèle sélectionne des options à probabilité plus élevée tout en générant une réponse.
-
topP : pourcentage de candidats les plus probables pris en compte par le modèle pour le jeton suivant.
Pour de plus amples informations, veuillez consulter Génération de réponse d’influence à l’aide de paramètres d’inférence.
L’exemple JSON suivant définit le paramètre d’inférence temperature.
{"temperature": 0.5}
Si le modèle que vous utilisez possède des paramètres d’inférence supplémentaires, vous pouvez définir ces paramètres en les spécifiant au format JSON dans le champ additionalModelRequestFields. L’exemple JSON suivant montre comment définir top_k, qui est disponible dans les modèles Anthropic Claude, mais qui n’est pas un paramètre d’inférence de base dans l’API de messages.
{"top_k": 200}
Si vous spécifiez une invite de Prompt Management dans le modelId comme ressource sur laquelle exécuter l’inférence, utilisez ce champ pour renseigner les variables d’invite avec des valeurs réelles. Le champ promptVariables correspond à un objet JSON dont les clés correspondent aux variables définies dans les invites et aux valeurs par lesquelles les variables doivent être remplacées.
Par exemple, supposons que vous ayez une invite indiquant Make me a L’ID de l’invite est {{genre}} playlist consisting of the following number of songs: {{number}}.PROMPT12345 et sa version est 1. Vous pouvez envoyer la demande Converse suivante pour remplacer les variables :
POST /model/arn:aws:bedrock:us-east-1:111122223333:prompt/PROMPT12345:1/converse HTTP/1.1 Content-type: application/json { "promptVariables": { "genre" : "pop", "number": 3 } }
Vous pouvez appliquer une barrière de protection que vous avez créée avec les barrières de protection Amazon Bedrock en incluant ce champ. Pour appliquer le garde-corps à un message spécifique de la conversation, incluez le message dans un. GuardrailConverseContentBlock Si vous n’incluez aucun GuardrailConverseContentBlock dans le corps de la demande, la barrière de protection est appliquée à tous les messages du champ messages. Pour obtenir un exemple, consultez Intégration d’une barrière de protection à l’API Converse.
Ce champ vous permet de définir un outil que le modèle doit utiliser pour l’aider à générer une réponse. Pour de plus amples informations, veuillez consulter Utilisation d’un outil pour compléter une réponse au modèle Amazon Bedrock.
Vous pouvez spécifier les chemins des paramètres de modèle supplémentaires dans le champ additionalModelResponseFieldPaths, comme illustré dans l’exemple suivant.
[ "/stop_sequence" ]
L’API renvoie les champs supplémentaires que vous demandez dans le champ additionalModelResponseFields.
Ce champ est mappé à un objet JSON. Vous pouvez spécifier les clés de métadonnées et les valeurs auxquelles elles correspondent dans cet objet. Vous pouvez utiliser les métadonnées des demandes pour filtrer les journaux d’invocation des modèles.
Ce champ est mappé à un objet JSON. Vous pouvez spécifier le niveau de service pour une demande particulière.
L'exemple suivant illustre la serviceTier structure :
"serviceTier": { "type": "reserved" | "priority" | "default" | "flex" }
Pour obtenir des informations détaillées sur les niveaux de service, y compris les caractéristiques de tarification et de performance, consultezNiveaux de service pour optimiser les performances et les coûts.
Vous pouvez également éventuellement ajouter des points de contrôle du cache aux champs system ou tools pour utiliser la mise en cache des invites, selon le modèle que vous utilisez. Pour de plus amples informations, veuillez consulter Mise en cache des invites pour une inférence de modèle plus rapide.
Réponse
La réponse que vous obtenez de l’API Converse dépend de l’opération que vous appelez, Converse ou ConverseStream.
Réponse inverse
Dans le formulaire de réponseConverse, le output champ (ConverseOutput) contient le message (Message) généré par le modèle. Le contenu du message se trouve dans le champ content (ContentBlock) et le rôle (userouassistant) auquel le message correspond se trouve dans le role champ.
Si vous avez utilisé la mise en cache des invites, alors dans le champ d’utilisation, cacheReadInputTokensCount et cacheWriteInputTokensCount vous indiquent combien de jetons au total ont été lus depuis le cache et écrits dans le cache, respectivement.
Si vous avez utilisé des niveaux de service, le champ de réponse vous service tier indiquera quel niveau de service a été utilisé pour la demande.
Le metrics champ (ConverseMetrics) inclut les métriques de l'appel. Pour déterminer pourquoi le modèle a cessé de générer du contenu, vérifiez le champ stopReason. Vous pouvez obtenir des informations sur les jetons transmis au modèle dans la demande et sur les jetons générés dans la réponse en cochant le usage champ (TokenUsage). Si vous avez spécifié des champs de réponse supplémentaires dans la demande, l’API les renvoie au format JSON dans le champ additionalModelResponseFields.
L’exemple suivant montre la réponse de Converse lorsque vous avez répondu à l’invite décrite dans Demande.
{ "output": { "message": { "role": "assistant", "content": [ { "text": "Here is a list of 3 pop songs by artists from the United Kingdom:\n\n1. \"Wannabe\" by Spice Girls\n2. \"Bitter Sweet Symphony\" by The Verve \n3. \"Don't Look Back in Anger\" by Oasis" } ] } }, "stopReason": "end_turn", "usage": { "inputTokens": 125, "outputTokens": 60, "totalTokens": 185 }, "metrics": { "latencyMs": 1175 } }
ConverseStream réponse
Si vous appelez ConverseStream pour diffuser la réponse d’un modèle, le flux est renvoyé dans le champ de réponse stream. Le flux émet les événements suivants dans l’ordre suivant.
-
messageStart(MessageStartEvent). L'événement de début d'un message. Inclut le rôle du message. -
contentBlockStart(ContentBlockStartEvent). Un événement de démarrage d'un bloc de contenu. Utilisation d’outils uniquement. -
contentBlockDelta(ContentBlockDeltaEvent). Un événement delta du bloc de contenu. Essayez l’une des actions suivantes :-
text: texte partiel généré par le modèle. -
reasoningContent: raisonnement partiel effectué par le modèle pour générer la réponse. Vous devez envoyer lesignaturerenvoyé, en plus de tous les messages précédents, dans les demandesConversesuivantes. Si l’un des messages est modifié, la réponse génère une erreur. -
toolUse: l’objet JSON d’entrée partielle destiné à l’utilisation de l’outil.
-
-
contentBlockStop(ContentBlockStopEvent). Un événement d'arrêt du blocage du contenu. -
messageStop(MessageStopEvent). L'événement d'arrêt du message. Inclut la raison pour laquelle le modèle a cessé de générer une sortie. -
metadata(ConverseStreamMetadataEvent). Métadonnées relatives à la demande. Les métadonnées incluent l'utilisation du jeton dansusage(TokenUsage) et les métriques de l'appel dansmetrics(ConverseStreamMetadataEvent).
ConverseStream diffuse un bloc de contenu complet sous forme d'ContentBlockStartEventévénement, d'un ou de plusieurs ContentBlockDeltaEvent événements et d'un ContentBlockStopEvent événement. Utilisez le champ contentBlockIndex comme index pour corréler les événements qui constituent un bloc de contenu.
Voici un exemple de réponse partielle renvoyée par ConverseStream.
{'messageStart': {'role': 'assistant'}} {'contentBlockDelta': {'delta': {'text': ''}, 'contentBlockIndex': 0}} {'contentBlockDelta': {'delta': {'text': ' Title'}, 'contentBlockIndex': 0}} {'contentBlockDelta': {'delta': {'text': ':'}, 'contentBlockIndex': 0}} . . . {'contentBlockDelta': {'delta': {'text': ' The'}, 'contentBlockIndex': 0}} {'messageStop': {'stopReason': 'max_tokens'}} {'metadata': {'usage': {'inputTokens': 47, 'outputTokens': 20, 'totalTokens': 67}, 'metrics': {'latencyMs': 100.0}}}