Komplettes Anfrageschema
Das Anforderungsschema zwischen der Invoke-API (Streaming und Nicht-Streaming) und der Converse-API ist nahezu identisch. Es gibt subtile Unterschiede in Bezug auf die Kodierung von Bild- und Videonutzdaten. Da Amazon Nova Micro keine Bilder oder Videos als Eingabe unterstützt, gelten diese Teile des Anforderungsschema nicht für Amazon Nova Micro. Andernfalls ist das Anforderungsschema für alle Amazon-Nova-Understanding-Modelle gleich.
Wichtig
Der Timeout-Zeitraum für Inferenzaufrufe an Amazon Nova beträgt 60 Minuten. Standardmäßig wird bei AWS-SDK-Clients die Zeitüberschreitung nach 1 Minute erreicht. Wir empfehlen, dass Sie das Lese-Timeout Ihres AWS-SDK-Clients auf mindestens 60 Minuten erhöhen. Ändern Sie beispielsweise im SDK von AWS Python Botocore den Wert des Felds read_timeout in botocore.config
client = boto3.client( "bedrock-runtime", region_name="us-east-1", config=Config( connect_timeout=3600, # 60 minutes read_timeout=3600, # 60 minutes retries={'max_attempts': 1} ) )
{ "system": [ { "text":"string"} ], "messages": [ { "role": "user", //first turn should always be the user turn "content": [ { "text":"string"}, { "image": { "format": "jpeg" | "png" | "gif" | "webp", "source": { "bytes":image// Binary array (Converse API) or Base64-encoded string (Invoke API) } } }, { "video": { "format": "mkv" | "mov" | "mp4" | "webm" | "three_gp" | "flv" | "mpeg" | "mpg" | "wmv", "source": { // Option 1: Sending a S3 location "s3Location": { "uri":"string", // example: s3://my-bucket/object-key "bucketOwner":"string"// (Optional) example: "123456789012" }, // Option 2: Sending file bytes "bytes":video// Binary array (Converse API) or Base64-encoded string (Invoke API) } } } ] }, { "role": "assistant", "content": [ { "text":"string"//prefilling assistant turn } ] } ], "inferenceConfig":{ // all Optional, Invoke parameter names used in this example "maxTokens":int, // greater than 0, equal or less than 5k (default: dynamic*) "temperature":float, // greater than 0 and less than 1.0 (default: 0.7) "topP":float, // greater than 0, equal or less than 1.0 (default: 0.9) "topK":int, // 0 or greater (default: 50) "stopSequences":["string"]}, "toolConfig": { // all Optional "tools": [ { "toolSpec": { "name":"string", //meaningful tool name (Max char: 64) "description":"string", //meaningful description of the tool "inputSchema": { "json": { // The JSON schema for the tool. For more information, see JSON Schema Reference "type": "object", "properties": {"arg1": { //arguments "type": "string", //argument data type "description": "string" //meaningful description } }, "required": ["string"//args ] } } } } ], }, "toolChoice": { "auto": {} } //Amazon Nova models ONLY support tool choice of "auto" }
Die folgenden Parameter sind erforderlich:
-
system– (Optional) Der System-Prompt für die Anfrage.Ein System-Prompt bietet die Möglichkeit, Amazon Nova mit Kontext und Anweisungen zu versorgen, beispielsweise durch die Angabe eines bestimmten Ziels oder einer bestimmten Rolle.
-
messages– (Erforderlich) Die Eingabenachrichten.-
role– Die Rolle der Konversationsrunde ändert sich. Gültige Werte sinduserundassistant. -
content– (Erforderlich) Eine Liste von ContentBlock-Objekten, die Inhalte für die Konversation enthalten. Jedes Objekt enthält einen Schlüssel, der den Inhaltstyp (text,imageodervideo) angibt. Der Wert des Objekts hängt vom jeweiligen Schlüsseltyp ab. Die folgenden Typen werden für den Schlüssel unterstützt:-
text– Zuordnung zu einem Objekt, das ein einzelnes Feld,text, enthält, dessen Wert der Text-Prompt für die Konversationsrunde ist. Wenn die Konversationsrunde auch einimage- odervideo-Objekt enthält, wird dastext-Objekt als Text-Prompt interpretiert, der das Bild oder Video begleitet. -
image– (Nicht unterstützt für Amazon Nova Micro) Verweist auf ein Objekt, das Bildinhalte darstellt und die folgenden Felder enthält:-
format– (Erforderlich) Das Bildformat. Sie können die folgenden Bildformate angeben:-
jpeg -
png -
webp -
gif
-
-
source– (Erforderlich) Die Bilddaten. Für die Invoke-API muss dies eine Base64-kodierte Bildzeichenfolge sein. Für die Converse-API muss dies ein Byte-Array sein. -
bytes– (Erforderlich) Die Bilddaten. Für die Invoke-API muss dies eine Base64-kodierte Bildzeichenfolge sein. Für die Converse-API muss dies ein Byte-Array sein.
-
-
video– (Nicht unterstützt für Amazon Nova Micro) Verweist auf ein Objekt, das Videoinhalte darstellt und die folgenden Felder enthält:-
format– (Erforderlich) Das Videoformat. Sie können die folgenden Werte angeben:-
mkv -
mov -
mp4 -
webm -
three_gp -
flv -
mpeg -
mpg -
wmv
-
-
source– (Erforderlich) Die Quelle der Videodaten. Sie können in der Anfrage eine Amazon-S3-URI oder die Bytes der Videodatei angeben.-
uri– (Erforderlich) Die Amazon-S3-URI der Videodatei. Beispiel: ,“s3://my-bucket/object-key” -
bucketOwner– (Optional) Die Konto-ID für das , dem der Bucket gehört Verwenden Sie diese, wenn Sie das Modell von einem separaten Konto aus aufrufen. -
bytes– (Erforderlich) Die Bilddaten. Für die Invoke-API muss dies eine Base64-kodierte Bildzeichenfolge sein. Für die Converse-API muss dies ein Byte-Array sein.
-
-
-
-
-
inferenceConfig:Dies sind Inferenzkonfigurationswerte, die als Inferenz übergeben werden können.-
maxTokens– (Optional) Die maximale Anzahl von Token, die vor dem Beenden generiert werden sollen.Bitte beachten Sie, dass Amazon-Nova-Modelle möglicherweise die Generierung von Token einstellen, bevor der Wert von
maxTokenserreicht ist. Der zulässige Höchstwert für neue Token beträgt 5 000. -
temperature– (Optional) Die Menge an Zufälligkeit, die der Antwort hinzugefügt wurde. Zulässig sind alle Werte zwischen 0,00001 und 1 inklusive. Der Standardwert lautet 0.7. -
topP– (Optional) Verwenden Sie Nukleus-Stichproben.Amazon Nova berechnet die kumulative Verteilung über alle Optionen für jedes nachfolgende Token in absteigender Wahrscheinlichkeitsreihenfolge und beendet den Vorgang, sobald eine bestimmte, durch
topPfestgelegte Wahrscheinlichkeit erreicht ist. Sie sollten entwedertemperatureodertopPändern, aber nicht beide. Zulässig sind alle Werte zwischen 0 und 1, inklusive. Der Standardwert lautet 0.9. -
topK– (Optional) Nehmen Sie für jedes nachfolgende Token nur Stichproben aus den Top-K-Optionen vor.Verwenden Sie den Parameter
topK, um Antworten mit langen Ausläufern und geringer Wahrscheinlichkeit zu entfernen. Gültige Werte liegen zwischen 0 und 128 Sekunden. Standardmäßig wird dieser Parameter nicht verwendet.Anmerkung
Bei der Verwendung der Converse-API mit dem Parameter
topKmuss ein zusätzlicherinferenceConfig-Parameter in einemadditionalModelRequestFields-Feld enthalten sein. Ein Beispiel für die Weitergabe dieser Parameter finden Sie unter Verwendung der Converse-API. -
stopSequences– (Optional) Array von Zeichenketten, die Stoppsequenzen enthalten. Wenn das Modell eine dieser Zeichenfolgen generiert, wird die Generierung beendet und die Antwort bis zu diesem Punkt zurückgegeben.
Parameter Default value Range temperature0.7 0.00001-1 topP0.9 0-1 topKNot used 0-128 -
-
toolConfig– (Optional) JSON-Objekt gemäß ToolConfig-Schema, das die Tool-Spezifikation und die Tool-Auswahl enthält. Dieses Schema entspricht dem der Converse-API