Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden Sie ein Inferenzprofil beim Modellaufruf
Sie können anstelle eines Basismodells ein regionsübergreifendes Inferenzprofil verwenden, um Anfragen an mehrere Regionen weiterzuleiten. Um die Kosten und die Nutzung eines Modells in einer oder mehreren Regionen nachzuverfolgen, können Sie ein Anwendungs-Inferenzprofil verwenden. Um zu erfahren, wie Sie ein Inferenzprofil bei der Ausführung von Modellinferenzen verwenden, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor:
- Console
-
Gehen Sie wie folgt vor, um ein Inferenzprofil mit einer Funktion zu verwenden, die es unterstützt:
-
Melden Sie sich bei der AWS Management Console mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock/
. -
Navigieren Sie zu der Seite für die Funktion, für die Sie ein Inferenzprofil verwenden möchten. Wählen Sie beispielsweise im linken Navigationsbereich Chat /Text Playground aus.
-
Wählen Sie Modell auswählen und wählen Sie dann das Modell aus. Wählen Sie beispielsweise Amazon und dann Nova Premier.
-
Wählen Sie unter Inferenz die Option Inferenzprofile aus dem Drop-down-Menü aus.
-
Wählen Sie das zu verwendende Inferenzprofil aus (z. B. US Nova Premier) und klicken Sie dann auf Anwenden.
-
- API
-
Sie können ein Inferenzprofil verwenden, wenn Sie Inferenzen aus einer beliebigen Region ausführen, die darin enthalten ist, und zwar mit den folgenden API-Vorgängen:
-
InvokeModeloder InvokeModelWithResponseStream— Um ein Inferenzprofil beim Modellaufruf zu verwenden, folgen Sie den Schritten unter Senden Sie eine einzelne Aufforderung mit InvokeModel und geben Sie den Amazon-Ressourcennamen (ARN) des Inferenzprofils in das Feld ein.
modelIdEin Beispiel finden Sie unter Verwenden eines Inferenzprofils beim Modellaufruf. -
Umgekehrt oder ConverseStream— Um ein Inferenzprofil beim Modellaufruf mit der Converse API zu verwenden, folgen Sie den Schritten unter Führen Sie eine Konversation mit den Converse API-Operationen und geben Sie den ARN des Inferenzprofils in das Feld ein.
modelIdEin Beispiel finden Sie unter Verwenden eines Inferenzprofils in einer Konversation. -
RetrieveAndGenerate— Um ein Inferenzprofil beim Generieren von Antworten aus den Ergebnissen der Abfrage einer Wissensdatenbank zu verwenden, folgen Sie den Schritten auf der Registerkarte API unter Testen Sie Ihre Wissensdatenbank mit Fragen und Antworten und geben Sie den ARN des Inferenzprofils im Feld an.
modelArnWeitere Informationen finden Sie unter Verwenden eines Inferenzprofils zum Generieren einer Antwort. -
CreateEvaluationJob— Um ein Inferenzprofil zur Modellevaluierung einzureichen, folgen Sie den Schritten auf der Registerkarte API unter Starten eines automatischen Modellevaluierungsjobs in Amazon Bedrock und geben Sie den ARN des Inferenzprofils in das
modelIdentifierFeld ein. -
CreatePrompt— Um ein Inferenzprofil beim Generieren einer Antwort für eine Aufforderung zu verwenden, die Sie in der Prompt-Verwaltung erstellen, folgen Sie den Schritten auf der Registerkarte API unter Erstellen Sie eine Aufforderung mithilfe der Prompt-Verwaltung und geben Sie den ARN des Inferenzprofils im
modelIdFeld an. -
CreateFlow— Um ein Inferenzprofil beim Generieren einer Antwort für eine Inline-Aufforderung zu verwenden, die Sie innerhalb eines Aufforderungsknotens in einem Flow definieren, folgen Sie den Schritten auf der Registerkarte API unter. Erstellen und gestalten Sie einen Flow in Amazon Bedrock Geben Sie bei der Definition des Prompt-Knotens den ARN des Inferenzprofils im
modelIdFeld an. -
CreateDataSource— Um ein Inferenzprofil beim Parsen von nicht-textuellen Informationen in einer Datenquelle zu verwenden, folgen Sie den Schritten im API-Abschnitt unter Parsing-Optionen für Ihre Datenquelle und geben Sie den ARN des Inferenzprofils im Feld an.
modelArn
Anmerkung
Wenn Sie ein regionsübergreifendes (systemdefiniertes) Inferenzprofil verwenden, können Sie entweder den ARN oder die ID des Inferenzprofils verwenden.
-
