Komplettes Anfrageschema - Amazon Nova

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Komplettes Anfrageschema

Das Anforderungsschema zwischen der Invoke-API (Streaming und Nicht-Streaming) und der Converse-API ist nahezu identisch. Es gibt subtile Unterschiede in Bezug auf die Kodierung von Bild- und Videonutzdaten. Da Amazon Nova Micro keine Bilder oder Videos als Eingabe unterstützt, gelten diese Teile des Anforderungsschema nicht für Amazon Nova Micro. Andernfalls ist das Anforderungsschema für alle Amazon-Nova-Understanding-Modelle gleich.

Wichtig

Der Timeout-Zeitraum für Inferenzaufrufe an Amazon Nova beträgt 60 Minuten. Standardmäßig wird bei AWS SDK-Clients das Timeout nach 1 Minute erreicht. Wir empfehlen, dass Sie das Lese-Timeout Ihres AWS SDK-Clients auf mindestens 60 Minuten erhöhen. Ändern Sie beispielsweise im SDK von AWS Python Botocore den Wert des Felds read_timeout in botocore.config auf mindestens 3 600.

client = boto3.client( "bedrock-runtime", region_name="us-east-1", config=Config( connect_timeout=3600, # 60 minutes read_timeout=3600, # 60 minutes retries={'max_attempts': 1} ) )
{ "system": [ { "text": "string" } ], "messages": [ { "role": "user", //first turn should always be the user turn "content": [ { "text": "string" }, { "image": { "format": "jpeg" | "png" | "gif" | "webp", "source": { "bytes": image // Binary array (Converse API) or Base64-encoded string (Invoke API) } } }, { "video": { "format": "mkv" | "mov" | "mp4" | "webm" | "three_gp" | "flv" | "mpeg" | "mpg" | "wmv", "source": { // Option 1: Sending a S3 location "s3Location": { "uri": "string", // example: s3://my-bucket/object-key "bucketOwner": "string" // (Optional) example: "123456789012" }, // Option 2: Sending file bytes "bytes": video // Binary array (Converse API) or Base64-encoded string (Invoke API) } } }, { "audio": { "format": "mp3" | "opus" | "wav" | "aac" | "flac" | "mp4" | "ogg" | "mkv", "source": { // Option 1: Sending a S3 location "s3Location": { "uri": "string", // example: s3://my-bucket/object-key "bucketOwner": "string" // (Optional) example: "123456789012" }, // Option 2: Sending file bytes "bytes": audio // Binary array (Converse API) or Base64-encoded string (Invoke API) } } } ] }, { "role": "assistant", "content": [ { "text": "string" //prefilling assistant turn } ] } ], "inferenceConfig":{ // all Optional, Invoke parameter names used in this example "maxTokens": int, // greater than 0, equal or less than 5k (default: dynamic*) "temperature": float, // greater than 0 and less than 1.0 (default: 0.7) "topP": float, // greater than 0, equal or less than 1.0 (default: 0.9) "topK": int, // 0 or greater (default: 50) "stopSequences": ["string"], "reasoningConfig": { "type": "string", //"enabled"/"disabled" (default: "disabled") "maxReasoningEffort": "string" // "low", "medium", "high" } }, "toolConfig": { // all Optional "tools": [ { "toolSpec": { "name": "string", //meaningful tool name (Max char: 64) "description": "string", //meaningful description of the tool "inputSchema": { "json": { // The JSON schema for the tool. For more information, see JSON Schema Reference "type": "object", "properties": { "arg1": { //arguments "type": "string", //argument data type "description": "string" //meaningful description } }, "required": [ "string" //args ] } } } } ], }, "toolChoice": { //can select one of three options "auto": {}, "any": {}, "tool": { "name": "string" //name of tool } } }

Die folgenden Parameter sind erforderlich:

  • system – (Optional) Der System-Prompt für die Anfrage.

    Ein System-Prompt bietet die Möglichkeit, Amazon Nova mit Kontext und Anweisungen zu versorgen, beispielsweise durch die Angabe eines bestimmten Ziels oder einer bestimmten Rolle.

  • messages – (Erforderlich) Die Eingabenachrichten.

    • role – Die Rolle der Konversationsrunde ändert sich. Gültige Werte sind user und assistant.

    • content— (erforderlich) Eine Liste von ContentBlockObjekten, die Inhalte für die Konversation enthalten. Jedes Objekt enthält einen Schlüssel, der den Inhaltstyp (text, imagevideo, oderaudio) angibt. Der Wert des Objekts hängt vom jeweiligen Schlüsseltyp ab. Die folgenden Typen werden für den Schlüssel unterstützt:

      • text – Zuordnung zu einem Objekt, das ein einzelnes Feld, text, enthält, dessen Wert der Text-Prompt für die Konversationsrunde ist. Wenn die Konversationsrunde auch ein image- oder video-Objekt enthält, wird das text-Objekt als Text-Prompt interpretiert, der das Bild oder Video begleitet.

      • image – (Nicht unterstützt für Amazon Nova Micro) Verweist auf ein Objekt, das Bildinhalte darstellt und die folgenden Felder enthält:

        • format – (Erforderlich) Das Bildformat. Sie können die folgenden Bildformate angeben:

          • jpeg

          • png

          • webp

          • gif

        • source – (Erforderlich) Die Bilddaten. Für die Invoke-API muss dies eine Base64-kodierte Bildzeichenfolge sein. Für die Converse-API muss dies ein Byte-Array sein.

        • bytes – (Erforderlich) Die Bilddaten. Für die Invoke-API muss dies eine Base64-kodierte Bildzeichenfolge sein. Für die Converse-API muss dies ein Byte-Array sein.

      • video – (Nicht unterstützt für Amazon Nova Micro) Verweist auf ein Objekt, das Videoinhalte darstellt und die folgenden Felder enthält:

        • format – (Erforderlich) Das Videoformat. Sie können die folgenden Werte angeben:

          • mkv

          • mov

          • mp4

          • webm

          • three_gp

          • flv

          • mpeg

          • mpg

          • wmv

        • source – (Erforderlich) Die Quelle der Videodaten. Sie können in der Anfrage eine Amazon-S3-URI oder die Bytes der Videodatei angeben.

          • uri – (Erforderlich) Die Amazon-S3-URI der Videodatei. Beispiel: “s3://my-bucket/object-key”

          • bucketOwner – (Optional) Die Konto-ID für das , dem der Bucket gehört Verwenden Sie diese, wenn Sie das Modell von einem separaten Konto aus aufrufen.

          • bytes— (erforderlich) Die Videodaten. Für die Invoke-API muss dies eine Base64-kodierte Videozeichenfolge sein. Für die Converse-API muss dies ein Byte-Array sein.

      • audio— (nur) Ordnet einem Objekt zu, das Audioinhalte darstellt und die folgenden Felder enthält:

        • format— (erforderlich) Das Audioformat. Sie können die folgenden Werte angeben:

          • aac

          • flac

          • mkv

          • mp3

          • mp4

          • ogg

          • opus

          • wav

        • source— (erforderlich) Die Quelle der Audiodaten. Sie können eine Amazon S3 S3-URI oder die Audiodatei-Bytes in der Anfrage angeben.

          • uri— (erforderlich) Die Amazon S3 S3-URI der Audiodatei. Beispiel: "s3://my-bucket/object-key"

          • bucketOwner – (Optional) Die Konto-ID für das , dem der Bucket gehört Verwenden Sie diese, wenn Sie das Modell von einem separaten Konto aus aufrufen.

          • bytes— (erforderlich) Die Audiodaten. Für die Invoke-API muss dies eine Base64-kodierte Audiozeichenfolge sein. Für die Converse-API muss dies ein Byte-Array sein.

  • inferenceConfig: Dies sind Inferenzkonfigurationswerte, die als Inferenz übergeben werden können.

    • maxTokens – (Optional) Die maximale Anzahl von Token, die vor dem Beenden generiert werden sollen.

      Bitte beachten Sie, dass Amazon-Nova-Modelle möglicherweise die Generierung von Token einstellen, bevor der Wert von maxTokens erreicht ist. Der zulässige Höchstwert für neue Token beträgt 5 000.

    • temperature – (Optional) Die Menge an Zufälligkeit, die der Antwort hinzugefügt wurde. Zulässig sind alle Werte zwischen 0,00001 und 1 inklusive. Der Standardwert ist 0,7.

    • topP – (Optional) Verwenden Sie Nukleus-Stichproben.

      Amazon Nova berechnet die kumulative Verteilung über alle Optionen für jedes nachfolgende Token in absteigender Wahrscheinlichkeitsreihenfolge und beendet den Vorgang, sobald eine bestimmte, durch topP festgelegte Wahrscheinlichkeit erreicht ist. Sie sollten entweder temperature oder topP ändern, aber nicht beide. Zulässig sind alle Werte zwischen 0 und 1, inklusive. Der Standardwert lautet 0.9.

    • topK – (Optional) Nehmen Sie für jedes nachfolgende Token nur Stichproben aus den Top-K-Optionen vor.

      Verwenden Sie den Parameter topK, um Antworten mit langen Ausläufern und geringer Wahrscheinlichkeit zu entfernen. Gültige Werte liegen zwischen 0 und 128. Standardmäßig wird dieser Parameter nicht verwendet.

      Anmerkung

      Bei der Verwendung der Converse-API mit dem Parameter topK muss ein zusätzlicher inferenceConfig-Parameter in einem additionalModelRequestFields-Feld enthalten sein. Ein Beispiel für die Weitergabe dieser Parameter finden Sie unter Verwendung der Converse-API.

    • stopSequences – (Optional) Array von Zeichenketten, die Stoppsequenzen enthalten. Wenn das Modell eine dieser Zeichenfolgen generiert, wird die Generierung beendet und die Antwort bis zu diesem Punkt zurückgegeben.

    • reasoningConfig— (Nur Amazon Nova Pro und Amazon Nova Lite) Die Argumentationskonfigurationswerte, die als Inferenz übergeben werden können.

      • type— (Optional) Ob die Argumentation aktiviert oder deaktiviert werden soll. Gültige Optionen sind enabled oder disabled. Der Standardwert ist disabled.

      • maxReasoningEffort— Der Rechenaufwand, der für den Argumentationsprozess aufgewendet wurde. Gültige Optionen sindlow,medium, oder. high Beim Streamen werden bei Verwendung low und medium Einstellungen die Argumentationsinhalte gestreamt, da jedes Token bei der Verwendung generiert wird. Das high funktioniert jedoch andersConverseStream, da unterschiedliche Ansätze zur Qualitätsverbesserung angewendet werden, was dazu führt, dass der gesamte Argumentationsinhalt in einem letzten Abschnitt ausgegeben wird.

      Anmerkung

      Wenn Sie die Converse-API mit dem Parameter verwenden, sollte der reasoningConfig Parameter in das Feld eingefügt werden. additionalModelRequestFields Ein Beispiel für die Weitergabe dieser Parameter finden Sie unter Verwendung der Converse-API.

    Parameter Standardwert Bereich
    temperature 0.7 0,00001-1
    topP 0.9 0-1
    topK Nicht verwendet 0-128
  • toolConfig— (Optional) JSON-Objekt, das dem ToolConfig Schema folgt und die Werkzeugspezifikation und die Werkzeugauswahl enthält. Dieses Schema entspricht dem der Converse-API

    • toolChoice— (Optional) Gibt an, welche Tools das Modell verwenden kann. Sie können eine von drei Optionen wählen:

      • auto— Das Modell entscheidet automatisch, ob und welche Werkzeuge verwendet werden sollen.

      • any— Das Modell muss mindestens eines der bereitgestellten Tools verwenden.

      • tool— Das Modell muss das spezifische, namentlich identifizierte Tool verwenden.