Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
So verwenden Sie ein Inferenzprofil beim Modellaufruf
Sie können anstelle eines Basismodells ein regionsübergreifendes Inferenzprofil verwenden, um Anforderungen an mehrere Regionen zu übermitteln. Sie können ein Anwendungsinferenzprofil verwenden, um Kosten und Nutzung eines Modells in einer oder mehreren Regionen nachzuverfolgen. Um zu erfahren, wie Sie ein Inferenzprofil bei der Ausführung von Modellinferenzen verwenden, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und gehen dann wie folgt vor:
- Console
-
Um ein Inferenzprofil mit einem Feature zu verwenden, das es unterstützt, gehen Sie wie folgt vor:
-
Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die zur Verwendung der Amazon-Bedrock-Konsole berechtigt ist. Öffnen Sie dann die Amazon-Bedrock-Konsole unter https://console.aws.amazon.com/bedrock
. -
Navigieren Sie zu der Seite für das Feature, für das Sie ein Inferenzprofil verwenden möchten. Wählen Sie beispielsweise im linken Navigationsbereich Chat /Text Playground aus.
-
Klicken Sie auf Modell auswählen und wählen Sie dann das Modell aus. Wählen Sie beispielsweise Amazon und dann Nova Premier aus.
-
Wählen Sie unter Inferenz die Option Inferenzprofile im Dropdownmenü aus.
-
Wählen Sie das zu verwendende Inferenzprofil aus (z. B. US Nova Premier) und klicken Sie dann auf Anwenden.
-
- API
-
Sie können ein Inferenzprofil verwenden, wenn Sie Inferenz aus einer beliebigen Region ausführen, die darin enthalten ist, und zwar mit den folgenden API-Operationen:
-
InvokeModel oder InvokeModelWithResponseStream – Um im Modellaufruf ein Inferenzprofil zu verwenden, folgen Sie den Schritten unter Senden Sie eine einzelne Aufforderung mit InvokeModel und geben den Amazon-Ressourcennamen (ARN) des Inferenzprofils im Feld
modelIdan. Ein Beispiel finden Sie unter Verwenden eines Inferenzprofils beim Modellaufruf. -
Converse oder ConverseStream – Um im Modellaufruf ein Inferenzprofil mit der Converse-API zu verwenden, folgen Sie den Schritten unter Führen einer Konversation mit den Converse-API-Operationen und geben den ARN des Inferenzprofils im Feld
modelIdan. Ein Beispiel finden Sie unter Verwenden eines Inferenzprofils in einer Konversation. -
RetrieveAndGenerate – Um ein Inferenzprofil beim Generieren von Antworten aus den Ergebnissen der Abfrage einer Wissensdatenbank zu verwenden, folgen Sie den Schritten auf der Registerkarte API unter Testen Ihrer Wissensdatenbank mit Abfragen und Antworten und geben den ARN des Inferenzprofils im Feld
modelArnan. Weitere Informationen finden Sie unter Verwenden eines Inferenzprofils zum Generieren einer Antwort. -
CreateEvaluationJob – Um ein Inferenzprofil zur Modellbewertung zu senden, folgen Sie den Schritten auf der Registerkarte API unter Starten eines automatischen Auftrags zur Modellbewertung in Amazon Bedrock und geben den ARN des Inferenzprofils im Feld
modelIdentifieran. -
CreatePrompt – Um ein Inferenzprofil beim Generieren einer Antwort für einen Prompt zu verwenden, den Sie im Prompt-Management erstellen, folgen Sie den Schritten auf der Registerkarte API unter Erstellen eines Prompts mithilfe des Prompt-Managements und geben den ARN des Inferenzprofils im Feld
modelIdan. -
CreateFlow – Um ein Inferenzprofil beim Generieren einer Antwort für einen Inline-Prompt zu verwenden, den Sie im Prompt-Knoten eines Flows definieren, folgen Sie den Schritten auf der Registerkarte API unter Einen Flow in Amazon Bedrock erstellen und gestalten. Geben Sie bei der Definition des Prompt-Knotens den ARN des Inferenzprofils im Feld
modelIdan. -
CreateDataSource – Um ein Inferenzprofil beim Parsen von Nicht-Text-Informationen in einer Datenquelle zu verwenden, folgen Sie den Schritten im API-Abschnitt unter Parsing-Optionen für Ihre Datenquelle und geben den ARN des Inferenzprofils im Feld
modelArnan.
Anmerkung
Wenn Sie ein regionsübergreifendes (systemdefiniertes) Inferenzprofil verwenden, können Sie entweder den ARN oder die ID des Inferenzprofils verwenden.
-
