Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource

Nachdem Sie einen Provisioned Throughput erworben haben, können Sie ihn mit den folgenden Funktionen verwenden:

  • Modellinferenz — Sie können den bereitgestellten Durchsatz auf einer Amazon Bedrock-Konsole testen. Wenn Sie bereit sind, den bereitgestellten Durchsatz bereitzustellen, richten Sie Ihre Anwendung so ein, dass das bereitgestellte Modell aufgerufen wird. Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und befolgen Sie dann die Schritte:

    Console
    So verwenden Sie einen bereitgestellten Durchsatz im Amazon Bedrock Console Playground

    1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock.

    2. Wählen Sie im linken Navigationsbereich je nach Anwendungsfall Chat, Text oder Bild unter Playgrounds aus.

    3. Klicken Sie auf Modell auswählen.

    4. Im 1. Wählen Sie in der Spalte Kategorie einen Anbieter oder eine benutzerdefinierte Modellkategorie aus. Dann, in der 2. Wählen Sie in der Spalte Modell das Modell aus, dem Ihr bereitgestellter Durchsatz zugeordnet ist.

    5. In der 3. Wählen Sie in der Spalte Durchsatz Ihren bereitgestellten Durchsatz aus.

    6. Wählen Sie Anwenden aus.

    Informationen zur Nutzung der Amazon Bedrock Playgrounds finden Sie unter. Generieren von Antworten in der Konsole mithilfe von Playgrounds

    API

    Um Inferenzen mit einem bereitgestellten Durchsatz auszuführen, senden Sie eine, InvokeModelInvokeModelWithResponseStream, Converse - oder ConverseStreamAnfrage mit einem Amazon Bedrock-Laufzeitendpunkt. Geben Sie den bereitgestellten Modell-ARN als modelId-Parameter an. Informationen zu den Anforderungen für den Anfragetext für verschiedene Modelle finden Sie unter. Inferenzanforderungsparameter und Antwortfelder für Basismodelle

    Siehe Codebeispiele

  • Einen bereitgestellten Durchsatz einem Agentenalias zuordnen — Sie können einen bereitgestellten Durchsatz zuordnen, wenn Sie einen Agentenalias erstellen oder aktualisieren. In der Amazon-Bedrock-Konsole wählen Sie den bereitgestellten Durchsatz, wenn Sie den Alias einrichten oder bearbeiten. In der Amazon Bedrock API geben Sie provisionedThroughput an, routingConfiguration wann Sie eine CreateAgentAliasoder UpdateAgentAlias; -Anfrage senden.