Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden der Converse-API
Um die Converse API zu verwenden, rufen Sie die ConverseStream Operationen Converse oder auf, um Nachrichten an ein Modell zu senden. Zum Aufrufen Converse benötigen Sie eine Genehmigung für den bedrock:InvokeModel Vorgang. Um anzurufenConverseStream, benötigen Sie eine Genehmigung für den bedrock:InvokeModelWithResponseStream Vorgang.
Themen
Anforderung
Wenn Sie eine Converse-Anfrage mit einem Amazon Bedrock-Laufzeitendpunkt stellen, können Sie die folgenden Felder einbeziehen:
-
modelId — Ein erforderlicher Parameter im Header, mit dem Sie die Ressource angeben können, die für Inferenzen verwendet werden soll.
-
Mit den folgenden Feldern können Sie die Eingabeaufforderung anpassen:
-
Nachrichten — Wird verwendet, um den Inhalt und die Rolle der Eingabeaufforderungen festzulegen.
-
system — Dient zur Angabe von Systemaufforderungen, die Anweisungen oder den Kontext für das Modell definieren.
-
inferenceConfig — Dient zur Angabe von Inferenzparametern, die allen Modellen gemeinsam sind. Inferenzparameter beeinflussen die Generierung der Antwort.
-
additionalModelRequestFelder — Dient zur Angabe von Inferenzparametern, die für das Modell spezifisch sind, mit dem Sie die Inferenz ausführen.
-
promptVariables — (Wenn Sie eine Aufforderung von Prompt Management verwenden) Verwenden Sie dieses Feld, um die Variablen in der Eingabeaufforderung, die ausgefüllt werden sollen, und die Werte, mit denen sie gefüllt werden sollen, zu definieren.
-
-
Mit den folgenden Feldern können Sie anpassen, wie die Antwort zurückgegeben wird:
-
guardrailConfig — Verwenden Sie dieses Feld, um eine Leitplanke einzufügen, die auf die gesamte Aufforderung angewendet werden soll.
-
ToolConfig — Verwenden Sie dieses Feld, um ein Tool einzufügen, das einem Modell bei der Generierung von Antworten hilft.
-
additionalModelResponseFieldPaths— Verwenden Sie dieses Feld, um Felder anzugeben, die als JSON-Zeigerobjekt zurückgegeben werden sollen.
-
-
requestMetadata — Verwenden Sie dieses Feld, um Metadaten einzuschließen, nach denen bei der Verwendung von Aufrufprotokollen gefiltert werden kann.
Anmerkung
Die folgenden Einschränkungen gelten, wenn Sie eine Eingabeaufforderung zur Prompt-Verwaltung mit Converse oder verwenden: ConverseStream
-
Sie können die
toolConfigFelderadditionalModelRequestFields,inferenceConfigsystem, oder nicht einbeziehen. -
Wenn Sie das
messagesFeld einbeziehen, werden die Nachrichten nach den in der Eingabeaufforderung definierten Nachrichten angehängt. -
Wenn Sie das
guardrailConfigFeld einbeziehen, wird die Leitplanke auf die gesamte Eingabeaufforderung angewendet. Wenn SieguardContentBlöcke in das ContentBlockFeld aufnehmen, wird die Leitplanke nur auf diese Blöcke angewendet.
Erweitern Sie einen Abschnitt, um mehr über ein Feld im Converse Anfragetext zu erfahren:
Das messages Feld ist ein Array von Message-Objekten, von denen jedes eine Nachricht zwischen dem Benutzer und dem Modell definiert. Ein Message Objekt enthält die folgenden Felder:
-
Rolle — Definiert, ob die Nachricht von
user(der an das Modell gesendeten Aufforderung) oderassistant(der Modellantwort) stammt. -
Inhalt — Definiert den Inhalt der Aufforderung.
Anmerkung
Amazon Bedrock speichert keine Texte, Bilder oder Dokumente, die Sie als Inhalt bereitstellen. Die Daten werden nur verwendet, um die Antwort zu generieren.
Sie können den Konversationskontext beibehalten, indem Sie alle Nachrichten der Konversation in nachfolgende Converse Anfragen einbeziehen und in dem role Feld angeben, ob die Nachricht vom Benutzer oder vom Modell stammt.
Das content Feld ist einer Reihe von ContentBlockObjekten zugeordnet. In jedem ContentBlockFeld können Sie eines der folgenden Felder angeben (Informationen darüber, welche Modelle welche Blöcke unterstützen, finden Sie unterUnterstützte Modelle und Modellfunktionen):
Anmerkung
Die folgenden Einschränkungen gelten für das content Feld:
-
Sie können bis zu 20 Bilder hinzufügen. Die Größe, Höhe und Breite jedes Bilds dürfen jeweils nicht mehr als 3,75 MB, 8.000 Pixel und 8.000 Pixel betragen.
-
Sie können bis zu fünf Dokumente hinzufügen. Die Größe jedes Dokuments darf nicht mehr als 4,5 MB betragen.
-
Sie können nur Bilder und Dokumente einschließen, wenn dies der
roleFall istuser.
Im folgenden messages Beispiel fragt der Benutzer nach einer Liste mit drei Popsongs, und das Modell generiert eine Liste von Songs.
[ { "role": "user", "content": [ { "text": "Create a list of 3 pop songs." } ] }, { "role": "assistant", "content": [ { "text": "Here is a list of 3 pop songs by artists from the United Kingdom:\n\n1. \"As It Was\" by Harry Styles\n2. \"Easy On Me\" by Adele\n3. \"Unholy\" by Sam Smith and Kim Petras" } ] } ]
Ein System-Prompt ist eine Art von Prompt, die dem Modell Anweisungen oder Kontext zu der Aufgabe, die es ausführen soll, oder zu der Persönlichkeit, die es während der Konversation annehmen soll, bereitstellt. Sie können im Feld system (SystemContentBlock) eine Liste von Systemaufforderungen für die Anforderung angeben, wie im folgenden Beispiel gezeigt.
[ { "text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. " } ]
Die Converse API unterstützt einen Basissatz von Inferenzparametern, die Sie im Feld () festlegen. inferenceConfig InferenceConfiguration Der Basissatz von Inferenzparametern ist:
-
maxTokens – Die maximale Anzahl von Token, die in der generierten Antwort zulässig sind.
-
stopSequences – Eine Liste von Stoppsequenzen. Eine Stoppsequenz ist eine Folge von Zeichen, die bewirkt, dass das Modell die Generierung der Antwort stoppt.
-
temperature – Die Wahrscheinlichkeit, dass das Modell beim Generieren einer Antwortvariablen Optionen mit höherer Wahrscheinlichkeit auswählt.
-
topP – Der Prozentsatz der wahrscheinlichsten Kandidaten, die das Modell für das nächste Token in Betracht zieht.
Weitere Informationen finden Sie unter Beeinflussen Sie die Antwortgenerierung mit Inferenzparametern.
Das folgende JSON-Beispiel legt den temperature Inferenzparameter fest.
{"temperature": 0.5}
Wenn das von Ihnen verwendete Modell über zusätzliche Inferenzparameter verfügt, können Sie diese Parameter festlegen, indem Sie sie im additionalModelRequestFields Feld als JSON angeben. Das folgende JSON-Beispiel zeigttop_k, wie festgelegt wird. Dieser Parameter ist zwar in Anthropic Claude Modellen verfügbar, aber kein Basis-Inferenzparameter in der Nachrichten-API.
{"top_k": 200}
Wenn Sie einen Prompt von Prompt Management modelId als Ressource angeben, für die Inferenz ausgeführt werden soll, verwenden Sie dieses Feld, um die Prompt-Variablen mit tatsächlichen Werten auszufüllen. Das promptVariables Feld ist einem JSON-Objekt mit Schlüsseln zugeordnet, die den in den Eingabeaufforderungen definierten Variablen entsprechen, und Werten, durch die die Variablen ersetzt werden sollen.
Nehmen wir zum Beispiel an, Sie haben eine Eingabeaufforderung mit der AufschriftMake me a . Die ID der Aufforderung lautet {{genre}} playlist consisting of the following number of songs: {{number}}.PROMPT12345 und ihre Version ist1. Sie könnten die folgende Converse Anfrage senden, um die Variablen zu ersetzen:
POST /model/arn:aws:bedrock:us-east-1:111122223333:prompt/PROMPT12345:1/converse HTTP/1.1 Content-type: application/json { "promptVariables": { "genre" : "pop", "number": 3 } }
Sie können eine Leitplanke anwenden, die Sie mit Amazon Bedrock Guardrails erstellt haben, indem Sie dieses Feld einbeziehen. Um die Leitplanke auf eine bestimmte Nachricht in der Konversation anzuwenden, fügen Sie die Nachricht in eine ein. GuardrailConverseContentBlock Wenn Sie im GuardrailConverseContentBlock Anfragetext kein s angeben, wird die Leitplanke auf alle Nachrichten im Feld angewendet. messages Ein Beispiel finden Sie unter Fügen Sie der API eine Leitplanke hinzu Converse.
In diesem Feld können Sie ein Werkzeug definieren, mit dem das Modell eine Antwort generieren kann. Weitere Informationen finden Sie unter Ein Tool verwenden, um eine Amazon-Bedrock-Modellantwort zu vervollständigen.
Sie können die Pfade für zusätzliche Modellparameter in dem additionalModelResponseFieldPaths Feld angeben, wie im folgenden Beispiel gezeigt.
[ "/stop_sequence" ]
Die API gibt die zusätzlichen Felder zurück, die Sie in dem additionalModelResponseFields Feld anfordern.
Dieses Feld ist einem JSON-Objekt zugeordnet. Sie können Metadatenschlüssel und Werte angeben, denen sie innerhalb dieses Objekts zugeordnet werden. Sie können Anforderungsmetadaten verwenden, um Modellaufrufprotokolle zu filtern.
Sie können optional auch Cache-Checkpoints zu den tools Feldern system oder hinzufügen, um das Prompt-Caching zu verwenden, je nachdem, welches Modell Sie verwenden. Weitere Informationen finden Sie unter Promptes Caching für schnellere Modellinferenz.
Antwort
Die Antwort, die Sie von der Converse API erhalten, hängt davon ab, welche Operation Sie aufrufen, Converse oder. ConverseStream
Umgekehrte Antwort
In der Antwort von Converse enthält das output Feld (ConverseOutput) die Nachricht (Message), die das Modell generiert. Der Nachrichteninhalt befindet sich im Feld content (ContentBlock) und die Rolle (useroderassistant), der die Nachricht entspricht, befindet sich im role Feld.
Wenn Sie Prompt-Caching verwendet haben, geben Sie im Verwendungsfeld an, cacheReadInputTokensCount wie viele Tokens insgesamt aus dem Cache gelesen bzw. in den Cache geschrieben wurden. cacheWriteInputTokensCount
Das metrics Feld (ConverseMetrics) enthält Metriken für den Aufruf. Überprüfen Sie das stopReason Feld, um festzustellen, warum das Modell keine Inhalte mehr generiert hat. Sie können Informationen über die in der Anfrage an das Modell übergebenen Token und die in der Antwort generierten Token abrufen, indem Sie das usage Feld (TokenUsage) überprüfen. Wenn Sie in der Anfrage zusätzliche Antwortfelder angegeben haben, gibt die API sie im additionalModelResponseFields Feld als JSON zurück.
Das folgende Beispiel zeigt die AntwortConverse, wenn Sie die unter beschriebene Aufforderung übergebenAnforderung.
{ "output": { "message": { "role": "assistant", "content": [ { "text": "Here is a list of 3 pop songs by artists from the United Kingdom:\n\n1. \"Wannabe\" by Spice Girls\n2. \"Bitter Sweet Symphony\" by The Verve \n3. \"Don't Look Back in Anger\" by Oasis" } ] } }, "stopReason": "end_turn", "usage": { "inputTokens": 125, "outputTokens": 60, "totalTokens": 185 }, "metrics": { "latencyMs": 1175 } }
ConverseStream Antwort
Wenn Sie aufrufenConverseStream, um die Antwort von einem Modell zu streamen, wird der Stream im stream Antwortfeld zurückgegeben. Der Stream gibt die folgenden Ereignisse in der folgenden Reihenfolge aus.
-
messageStart(MessageStartEvent). Das Startereignis für eine Nachricht. Beinhaltet die Rolle für die Nachricht. -
contentBlockStart(ContentBlockStartEvent). Ein Startereignis für Inhaltsblöcke. Nur zur Verwendung des Tools. -
contentBlockDelta(ContentBlockDeltaEvent). Ein Delta-Ereignis für Inhaltsblöcke. Beinhaltet eines der folgenden Ereignisse:-
text— Der Teiltext, den das Modell generiert. -
reasoningContent— Die teilweise Argumentation, die das Modell zur Generierung der Antwort durchgeführt hat. Sie müssen diesignaturezurückgesandten Nachrichten zusätzlich zu allen vorherigen Nachrichten in nachfolgendenConverseAnfragen einreichen. Wenn eine der Nachrichten geändert wird, gibt die Antwort einen Fehler aus. -
toolUse— Das teilweise eingegebene JSON-Objekt für die Verwendung mit dem Tool.
-
-
contentBlockStop(ContentBlockStopEvent). Ein Ereignis zum Stoppen eines Inhaltsblocks. -
messageStop(MessageStopEvent). Das Stopp-Ereignis für die Nachricht. Beinhaltet den Grund, warum das Modell keine Ausgabe mehr generiert hat. -
metadata(ConverseStreamMetadataEvent). Metadaten für die Anfrage. Die Metadaten umfassen die Token-Nutzung inusage(TokenUsage) und Metriken für den Aufruf inmetrics(ConverseStreamMetadataEvent).
ConverseStream streamt einen kompletten Inhaltsblock als ContentBlockStartEvent Ereignis, ein oder mehrere ContentBlockDeltaEvent Ereignisse und ein ContentBlockStopEvent Ereignis. Verwenden Sie das contentBlockIndex Feld als Index, um die Ereignisse zu korrelieren, aus denen ein Inhaltsblock besteht.
Das folgende Beispiel ist eine teilweise Antwort vonConverseStream.
{'messageStart': {'role': 'assistant'}} {'contentBlockDelta': {'delta': {'text': ''}, 'contentBlockIndex': 0}} {'contentBlockDelta': {'delta': {'text': ' Title'}, 'contentBlockIndex': 0}} {'contentBlockDelta': {'delta': {'text': ':'}, 'contentBlockIndex': 0}} . . . {'contentBlockDelta': {'delta': {'text': ' The'}, 'contentBlockIndex': 0}} {'messageStop': {'stopReason': 'max_tokens'}} {'metadata': {'usage': {'inputTokens': 47, 'outputTokens': 20, 'totalTokens': 67}, 'metrics': {'latencyMs': 100.0}}}