Verwenden der Converse-API - Amazon Nova

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden der Converse-API

Eine Methode zum Aufrufen der Amazon Nova-Verständnismodelle (Amazon Nova Micro, Lite, Pro und Premier) ist die Converse-API. Die zuvor erörterten Komponenten werden verwendet, wobei ein einheitliches Schema für alle Modellanbieter beibehalten wird. Dieser Ansatz bietet eine bequeme Möglichkeit, portablere Anwendungen zu implementieren, indem eine konsistente API genutzt wird, sodass bestehende Anwendungen, die andere Modelle verwenden, einfacher auf die Nova-Modelle portiert werden können. Die Converse API unterstützt die folgenden Modellfunktionen:

  • Converse: Einfache Multi-Turn-Konversationen mit gepufferten (im Gegensatz zu gestreamten) Antworten werden unterstützt

  • ConverseStream: Multi-Turn-Konversationen mit einer gestreamten Antwort für eine schrittweise Generierung und ein interaktiveres Gefühl

  • Systemaufforderungen: Systemanweisungen wie Personas oder Antwortrichtlinien

  • Dokumenten-Chat: Interagieren Sie mit Dokumenten oder Dokumentensammlungen und fragen Sie diese ab

  • Vision: Bild- und Videoeingänge

  • Verwendung des Tools: Funktionsaufruf zur Unterstützung verschiedener externer Tools

  • Verwendung von Streaming-Tools: Kombinieren Sie die Verwendung von Tools und das Streaming in Echtzeit

  • Leitplanken: verhindern unangemessene oder schädliche Inhalte

Wichtig

Die Zeitüberschreitung für Inferenzanrufe an Amazon Nova beträgt 60 Minuten. Standardmäßig läuft das Timeout für AWS SDK-Clients nach 1 Minute ab. Wir empfehlen, dass Sie das Lese-Timeout Ihres AWS SDK-Clients auf mindestens 60 Minuten erhöhen. Ändern Sie beispielsweise im AWS Python-Botocore-SDK den Wert des read_timeout Felds in botocore.config auf mindestens 3600.

client = boto3.client(
    "bedrock-runtime",
    region_name="us-east-1",
    config=Config(
        connect_timeout=3600,  # 60 minutes
        read_timeout=3600,     # 60 minutes
        retries={'max_attempts': 1}
    )
)

Sie können Amazon Nova-Modelle mit der Converse-API wie jedes andere Modell verwenden. Stellen Sie die modelId auf eine der folgenden Optionen ein, um die Amazon Nova-Modelle zu verwenden.

Amazon Nova Micro

Amazon Nova Lite

Amazon Nova Pro

Amazon Nova Premier

Amazonas. nova-micro-v1:0

Amazonas. nova-lite-v1:0

Amazonas. nova-pro-v1:0

Amazonas. nova-premier-v1:0

Die Converse-API unterstützt die folgenden Inferenzparameter, die als JSON-Objekt unter dem Attribut übergeben werden: inferenceConfig

  • maxTokens- Die maximale Anzahl von Token, die in der Antwort zulässig sind.

  • stopSequences- Eine Liste von Stoppsequenzen. Eine Stoppsequenz ist eine Folge von Zeichen, die dazu führt, dass das Modell die Generierung der Antwort beendet.

  • temperature- Die Wahrscheinlichkeit, dass das Modell beim Generieren einer Antwort Optionen mit höherer Wahrscheinlichkeit auswählt.

  • topP- Der Prozentsatz der wahrscheinlichsten Kandidaten, die das Modell für das nächste Token in Betracht zieht.

Der zusätzliche Parameter „TopK“ kann über das additionalModelRequestFields Attribut übergeben werden, wie unten gezeigt.

Hier ist ein Beispiel für die Verwendung der Converse API mit boto3, dem AWS SDK für Python mit Amazon Nova Lite:

import boto3
import json

client = boto3.client("bedrock-runtime")

system = [{ "text": "You are a helpful assistant" }]

messages = [
    {"role": "user", "content": [{"text": "Write a short story about dragons"}]},
]

inf_params = {"maxTokens": 300, "topP": 0.1, "temperature": 0.3}

additionalModelRequestFields = {
    "inferenceConfig": {
         "topK": 20
    }
}

model_response = client.converse(
    modelId="us.amazon.nova-lite-v1:0", 
    messages=messages, 
    system=system, 
    inferenceConfig=inf_params,
    additionalModelRequestFields=additionalModelRequestFields
)

print("\n[Full Response]")
print(json.dumps(model_response, indent=2))

print("\n[Response Content Text]")
print(model_response["output"]["message"]["content"][0]["text"])

Weitere Informationen zur Converse API und wie Sie sie nutzen können, finden Sie unter Führen Sie eine Konversation mit den Converse API-Vorgängen durch.