So reichen Sie mithilfe der API Prompts ein und generieren Antworten - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So reichen Sie mithilfe der API Prompts ein und generieren Antworten

Amazon Bedrock bietet die folgenden API-Operationen für die Ausführung von Modellinferenzen:

  • InvokeModel – Sie senden einen Prompt und generieren eine Antwort. Der Anfragetext ist modellspezifisch. Verwenden Sie InvokeModelWithResponseStream, um Streaming-Antworten zu generieren.

  • Converse – Sie senden einen Prompt und generieren Antworten mit einer für alle Modelle einheitlichen Struktur. Modellspezifische Anforderungsfelder können im Feld additionalModelRequestFields angegeben werden. Sie können auch System-Prompts und frühere Konversationen als Kontext einbeziehen. Verwenden Sie ConverseStream, um Streaming-Antworten zu generieren.

  • StartAsyncInvoke – Sie senden einen Prompt und generieren asynchron eine Antwort, die später abgerufen werden kann. Wird zum Generieren von Videos verwendet.

  • InvokeModelWithBidirectionalStream –

  • OpenAI-API für Chat-Abschlüsse – Verwenden Sie die OpenAI-Chat-Completions-API mit Modellen, die von Amazon Bedrock unterstützt werden, um eine Antwort zu generieren.

Für die Modellinferenz müssen Sie die folgenden Parameter bestimmen:

  • Modell-ID – Die ID oder der Amazon-Ressourcenname (ARN) des Modells oder Inferenzprofils zur Verwendung im modelId-Inferenzfeld. In der folgenden Tabelle wird beschrieben, wie Sie IDs für verschiedene Ressourcentypen finden:

    Modelltyp Beschreibung ID in der Konsole finden ID in der API finden Relevante Dokumentation
    Basismodell Ein Basismodell eines Anbieters. Wählen Sie im linken Navigationsbereich die Option Basismodelle aus, suchen Sie nach einem Modell und suchen Sie nach der Modell-ID. Senden Sie eine GetFoundationModel- oder ListFoundationModels-Anfrage und finden Sie die modelId in der Antwort. Eine Liste mit IDs finden Sie unter Unterstützte Basismodelle in Amazon Bedrock.
    Inferenzprofil Erhöht den Durchsatz, indem der Aufruf eines Modells in mehreren Regionen ermöglicht wird. Wählen Sie im linken Navigationsbereich die Option Regionsübergreifende Inferenz aus und suchen Sie nach einer Inferenzprofil-ID. Senden Sie eine GetInferenceProfile- oder ListInferenceProfiles-Anfrage und finden Sie die inferenceProfileId in der Antwort. Eine Liste mit IDs finden Sie unter Unterstützte Regionen und Modelle für Inferenzprofile.
    Prompt Ein Prompt, der mithilfe des Prompt-Managements konstruiert wurde. Wählen Sie im linken Navigationsbereich die Option Prompt-Management aus, wählen Sie dann im Bereich Prompts einen Prompt aus und suchen Sie nach dem Prompt-ARN. Senden Sie eine GetPrompt- oder ListPrompts-Anfrage und finden Sie den promptArn in der Antwort. Informationen zum Erstellen eines Prompts im Prompt-Management finden Sie unter Erstellen und Speichern wiederverwendbarer Prompts mit dem Prompt-Management in Amazon Bedrock.
    Bereitgestellter Durchsatz Bietet einen höheren Durchsatz für ein Modell zu festen Kosten. Wählen Sie im linken Navigationsbereich Bereitgestellter Durchsatz aus, wählen Sie einen bereitgestellten Durchsatz aus und suchen Sie nach dem ARN. Senden Sie eine GetProvisionedModelThroughput- oder ListProvisionedModelThroughputs-Anfrage und suchen Sie nach dem provisionedModelArn in der Antwort. Hier erfahren Sie, wie Sie einen bereitgestellten Durchsatz für ein Modell unter Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock erwerben können.
    Benutzerdefiniertes Modell Ein Modell, dessen Parameter basierend auf Trainingsdaten von einem Basismodell angepasst wurden. Nachdem Sie einen bereitgestellten Durchsatz für ein benutzerdefiniertes Modell erworben haben, folgen Sie den Schritten, um die ID für den bereitgestellten Durchsatz zu finden. Nachdem Sie einen bereitgestellten Durchsatz für ein benutzerdefiniertes Modell erworben haben, folgen Sie den Schritten, um die ID für den bereitgestellten Durchsatz zu finden. Erfahren Sie, wie Sie ein Modell bei Anpassen des Modells für eine bessere Leistung im jeweiligen Anwendungsfall anpassen können. Nach der Anpassung müssen Sie einen bereitgestellten Durchsatz dafür erwerben und die ID des bereitgestellten Durchsatzes verwenden.

  • Anforderungstext – Enthält die Inferenzparameter für ein Modell und andere Konfigurationen. Jedes Modell hat seine eigenen Inferenzparameter. Die Inferenzparameter für ein benutzerdefiniertes oder bereitgestelltes Modell hängen vom Basismodell ab, auf deren Basis sie erstellt wurden. Weitere Informationen finden Sie unter Inferenzanforderungsparameter und Antwortfelder für Basismodelle.

Wählen Sie ein Thema aus, um zu erfahren, wie Sie die Modellaufruf-APIs verwenden.

Themen