Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock
Der **Durchsatz** bezieht sich auf die Anzahl und Geschwindigkeit der Eingaben und Ausgaben, die ein Modell verarbeitet und zurückgibt. Sie können **Provisioned Throughput** erwerben, um einen höheren Durchsatz für ein Modell zu festen Kosten bereitzustellen. Wenn Sie ein Modell angepasst haben, müssen Sie Provisioned Throughput erwerben, um es verwenden zu können.
Der von Ihnen gekaufte Provisioned Throughput wird Ihnen stündlich in Rechnung gestellt. Detaillierte Informationen zu den Preisen finden Sie unter [Amazon Bedrock Pricing](https://aws.amazon.com/bedrock/pricing). Der Preis pro Stunde hängt von den folgenden Faktoren ab:
1. Das Modell, das Sie wählen (für benutzerdefinierte Modelle entspricht der Preis dem Basismodell, auf dessen Grundlage es angepasst wurde).
1. Die Anzahl der Modelleinheiten (MUs), die Sie für den bereitgestellten Durchsatz angeben. Eine MU liefert einen bestimmten Durchsatz für das angegebene Modell. Das Durchsatzniveau einer MU spezifiziert Folgendes:
+ Die Anzahl der Eingabetoken, die eine MU innerhalb einer Minute für alle Anfragen verarbeiten kann.
+ Die Anzahl der Ausgabetokens, die eine MU innerhalb einer Minute für alle Anfragen generieren kann.
**Anmerkung**
Wenden Sie sich an Ihren AWS-Konto Manager, um weitere Informationen zu den Spezifikationen einer MU, zu den Preisen pro MU und zur Beantragung von Limiterhöhungen zu erhalten.
1. Die Dauer, für die Sie sich verpflichten, den bereitgestellten Durchsatz beizubehalten. Je länger die Laufzeit der Verpflichtung ist, desto günstiger wird der Stundenpreis. Sie können zwischen den folgenden Bindungsstufen wählen:
+ Keine Verpflichtung — Sie können den bereitgestellten Durchsatz jederzeit löschen.
+ 1 Monat — Sie können den bereitgestellten Durchsatz erst löschen, wenn die einmonatige Abonnementlaufzeit abgelaufen ist.
+ 6 Monate — Sie können den bereitgestellten Durchsatz erst löschen, wenn der sechsmonatige Abonnementzeitraum abgelaufen ist.
**Anmerkung**
Die Abrechnung wird fortgesetzt, bis Sie den bereitgestellten Durchsatz löschen.
In den folgenden Schritten wird der Prozess der Einrichtung und Verwendung von Provisioned Throughput beschrieben.
1. Ermitteln Sie die Anzahl der MUs Geräte, die Sie für einen Provisioned Throughput erwerben möchten, und den Zeitraum, für den Sie sich zur Nutzung des Provisioned Throughput verpflichten möchten.
1. Erwerben Sie Provisioned Throughput für ein Basismodell oder ein benutzerdefiniertes Modell.
1. Nachdem das bereitgestellte Modell erstellt wurde, können Sie es verwenden, um [Modellinferenzen auszuführen.](inference.md)
**Topics**
+ [Unterstützte Region und Modelle für bereitgestellten Durchsatz](prov-thru-supported.md)
+ [Voraussetzungen für den bereitgestellten Durchsatz](prov-thru-prereq.md)
+ [Erwerben Sie einen bereitgestellten Durchsatz für ein Amazon Bedrock-Modell](prov-thru-purchase.md)
+ [Informationen zu einem bereitgestellten Durchsatz anzeigen](prov-thru-info.md)
+ [Einen bereitgestellten Durchsatz ändern](prov-thru-edit.md)
+ [Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource](prov-thru-use.md)
+ [Löschen Sie einen bereitgestellten Durchsatz oder brechen Sie die auto Verlängerung ab](prov-thru-delete.md)
+ [Codebeispiele für den bereitgestellten Durchsatz](prov-thru-code-examples.md)
# Unterstützte Region und Modelle für bereitgestellten Durchsatz
Wenn Sie Provisioned Throughput über die Amazon Bedrock API erwerben, müssen Sie eine kontextbezogene Variante von Amazon Bedrock FMs für die Modell-ID angeben.
**Anmerkung**
Provisioned Throughput wird in AWS GovCloud (USA West) nur für benutzerdefinierte Modelle mit unverbindlichem Kauf unterstützt. Wenn Sie ein benutzerdefiniertes Modell verwenden möchten, müssen Sie dafür bereitgestellten Durchsatz erwerben.
Die folgende Tabelle zeigt die Modelle, für die Sie Provisioned Throughput erwerben können, die Modell-ID, die Sie beim Kauf von Provisioned Throughput verwenden müssen, und die Modelle, AWS-Regionen in denen Sie Provisioned Throughput für das Modell erwerben können.
| Anbieter | Modell | Modell-ID | Unterstützung für Modelle mit nur einer Region |
| --- | --- | --- | --- |
| Amazon | Nova 2 Lite | amazon.nova-2-lite-v 1:0:256 k | us-east-1 |
| Amazon | Nova Canvas | Amazonas. nova-canvas-v1:0 | us-east-1 |
| Amazon | Nova Lite | Amazonas. nova-lite-v1:0:24 km | us-east-1 |
| Amazon | Nova Lite | Amazonas. nova-lite-v1:0:300 k | us-east-1 |
| Amazon | Nova Micro | Amazonas. nova-micro-v1:0:128 k | us-east-1 |
| Amazon | Nova Micro | Amazonas. nova-micro-v1:0:24 km | us-east-1 |
| Amazon | Nova Pro | Amazonas. nova-pro-v1:0:24 km | us-east-1 |
| Amazon | Nova Pro | Amazonas. nova-pro-v1:0:300 k | us-east-1 |
| Amazon | Titan Embeddings G1 – Text | Amazonas. titan-embed-text-v1:2:8 k | us-east-1 us-west-2 |
| Amazon | Titan Image Generator G1 v2 | Amazonas. titan-image-generator-v2:0 | us-east-1 us-west-2 |
| Amazon | Titan Multimodal Embeddings G1 | Amazonas. titan-embed-image-v1:0 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v2:0:100k | us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v2:0:18k | us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v2:1:18k | eu-central-1 us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v 2:1:200 k | eu-central-1 us-east-1 us-west-2 |
| Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0:200k | ap-southeast-2 eu-west-3 us-east-1 us-west-2 |
| Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v 1:0:48 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonett-20240229-v 1:0:200 k | ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v 1:0:28 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-Sonett 20240620-v 1:0:18 k | us-west-2 |
| Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-Sonett 20240620-v 1:0:200 k | us-west-2 |
| Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-Sonett 20240620-v 1:0:51 k | us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:18 k | us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:200 k | us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:51 k | us-west-2 |
| Anthropic | Claude Instant | anthropisch. claude-instant-v1:2:100 k | us-east-1 us-west-2 |
| Cohere | Embed English | kohärent. embed-english-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Cohere | Embed Multilingual | zusammenhalten. embed-multilingual-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Meta | Llama 3.1 70B Instruct | meta.lama3-1-70 1:0:128 k b-instruct-v | us-west-2 |
| Meta | Llama 3,1 8B Instruct | meta.llama3-1-8 1:0:128 k b-instruct-v | us-west-2 |
| Meta | Llama 3.2 11B Instruct | meta.llama3-2-11 1:0:128 k b-instruct-v | us-west-2 |
| Meta | Llama 3.2 1B Instruct | meta.llama3-2-1 1:0:128 k b-instruct-v | us-west-2 |
| Meta | Llama 3.2 3B Instruct | meta.llama3-2-3 b-instruct-v 1:0:128 k | us-west-2 |
| Meta | Llama 3.2 90B Instruct | meta.llama3-2-90 b-instruct-v 1:0:128 k | us-west-2 |
**Anmerkung**
Die folgenden Modelle unterstützen keine unverbindlichen Käufe für das Basismodell:
Titan Image Generator G1 V1
Titan Image Generator G1 V2
# Voraussetzungen für den bereitgestellten Durchsatz
Bevor Sie Provisioned Throughput erwerben und verwalten können, müssen Sie die folgenden Voraussetzungen erfüllen:
1. [Fordern Sie Zugriff auf das Modell oder die Modelle](model-access.md) an, für die Sie Provisioned Throughput erwerben möchten. Nachdem der Zugriff gewährt wurde, können Sie Provisioned Throughput für das Basismodell und alle darauf abgestimmten Modelle erwerben.
1. Stellen Sie sicher, dass Ihre IAM-Rolle Zugriff auf die API-Aktionen für den bereitgestellten Durchsatz hat. Wenn an Ihre Rolle die [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWS-managed Policy angehängt ist, können Sie diesen Schritt überspringen. Andernfalls gehen Sie wie folgt vor:
1. Folgen Sie den Schritten unter [IAM-Richtlinien](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) erstellen und erstellen Sie die folgende Richtlinie, die es einer Rolle ermöglicht, einen bereitgestellten Durchsatz für alle grundlegenden und benutzerdefinierten Modelle zu erstellen.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "PermissionsForProvisionedThroughput",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModel",
"bedrock:ListFoundationModels",
"bedrock:GetCustomModel",
"bedrock:ListCustomModels",
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream",
"bedrock:ListTagsForResource",
"bedrock:UntagResource",
"bedrock:TagResource",
"bedrock:CreateProvisionedModelThroughput",
"bedrock:GetProvisionedModelThroughput",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:UpdateProvisionedModelThroughput",
"bedrock:DeleteProvisionedModelThroughput"
],
"Resource": "*"
}
]
}
```
------
**Anmerkung**
Wenn Sie Provisioned Throughput mit regionsübergreifender Inferenz verwenden, benötigen Sie möglicherweise zusätzliche Berechtigungen. Weitere Informationen hierzu finden Sie unter [Erhöhen des Durchsatzes mit regionenübergreifender Inferenz](cross-region-inference.md).
(Optional) Sie können den Zugriff der Rolle wie folgt einschränken:
+ Um die API-Aktionen für die Rolle einzuschränken, ändern Sie die Liste im `Action`-Feld so, dass sie nur die [API-Operationen](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) enthält, für die Sie Zugriff gewähren möchten.
+ Nachdem Sie ein bereitgestelltes Modell erstellt haben, können Sie die Fähigkeit der Rolle einschränken, eine API-Anfrage mit dem bereitgestellten Modell auszuführen, indem Sie die `Resource` Liste so ändern, dass sie nur die [bereitgestellten Modelle](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) enthält, für die Sie Zugriff gewähren möchten. Ein Beispiel finden Sie unter [Zulassen, dass Benutzer ein bereitgestelltes Modell aufrufen](security_iam_id-based-policy-examples.md#security_iam_id-based-policy-examples-perform-actions-pt).
+ Um die Fähigkeit einer Rolle einzuschränken, bereitgestellte Modelle aus bestimmten Basismodellen oder benutzerdefinierten Modellen zu erstellen, ändern Sie die `Resource` Liste so, dass sie nur die Basismodelle [und benutzerdefinierten Modelle](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) enthält, für die Sie Zugriff gewähren möchten.
1. Folgen Sie den Schritten unter [Hinzufügen und Entfernen von IAM-Identitätsberechtigungen](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html), um die Richtlinie einer Rolle zuzuordnen und die Rollenberechtigungen zu gewähren.
1. Wenn Sie Provisioned Throughput für ein benutzerdefiniertes Modell erwerben, das mit einem vom Kunden verwalteten AWS KMS Schlüssel verschlüsselt ist, muss Ihre IAM-Rolle über Berechtigungen zum Entschlüsseln des Schlüssels verfügen. Sie können die Vorlage unter verwenden. [Erfahren Sie, wie Sie einen kundenseitig verwalteten Schlüssel erstellen und ihm eine Schlüsselrichtlinie zuordnen](encryption-custom-job.md#encryption-key-policy) Für minimale Berechtigungen können Sie nur die *Permissions for custom model users* Richtlinienerklärung verwenden.
# Erwerben Sie einen bereitgestellten Durchsatz für ein Amazon Bedrock-Modell
Amazon Bedrock bietet zwei Arten von bereitgestelltem Durchsatz — nach Tokens und nach Modelleinheiten. In den folgenden Anweisungen erfahren Sie, welchen Typ von Provisioned Throughput Sie erwerben möchten.
Weitere Informationen zu den Unterschieden zwischen den beiden Typen des bereitgestellten Durchsatzes finden Sie unter. [Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock](prov-throughput.md)
## Bereitgestellter Durchsatz nach Modelleinheiten
Wenn Sie für ein Modell ein Modell mit bereitgestelltem Durchsatz nach Modelleinheiten erwerben, geben Sie die Höhe der Verpflichtung für das Modell und die Anzahl der zuzuweisenden Modelleinheiten (MUs) an. Informationen zu MU-Kontingenten finden Sie unter [Amazon Bedrock Endpoints and Quotas](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) in der. Allgemeine AWS-Referenz Bevor Sie einen Provisioned Throughput (mit oder ohne Verpflichtung) erwerben können, müssen Sie zunächst das [AWSSupport Center](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) aufsuchen und MUs beantragen, dass Ihr Konto auf die Provisioned Throughputs aufgeteilt wird. Nachdem Ihrer Anfrage stattgegeben wurde, können Sie einen Provisioned Throughput erwerben.
**Anmerkung**
Wenn der Provisioned Throughput nach dem Kauf mit einem benutzerdefinierten Modell verknüpft ist, können Sie das Modell ändern, indem Sie eine der folgenden Optionen angeben:
Das Basismodell, auf dessen Grundlage das benutzerdefinierte Modell angepasst wurde
Ein weiteres benutzerdefiniertes Modell, das auf der Grundlage desselben Basismodells wie das benutzerdefinierte Modell angepasst wurde
Sie können das zugeordnete Modell nur für bereitgestellte Durchsätze ändern, die einem benutzerdefinierten Modell zugeordnet sind.
Um zu erfahren, wie Sie Provisioned Throughput für ein Modell erwerben können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor:
------
#### [ Console ]
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus.
1. **Wählen Sie im Abschnitt **Provisioned Throughput** die Option Purchase Provisioned Throughput aus.**
1. Gehen Sie für den Abschnitt **Details zum bereitgestellten Durchsatz** wie folgt vor:
1. Geben Sie im Feld **Name des bereitgestellten Durchsatzes** einen Namen für den bereitgestellten Durchsatz ein.
1. **Wählen Sie unter Modell** auswählen einen Basismodellanbieter oder eine benutzerdefinierte Modellkategorie aus. Wählen Sie dann das Modell aus, für das der Durchsatz bereitgestellt werden soll.
**Anmerkung**
Die Basismodelle, für die Sie Provisioned Throughput unverbindlich erwerben können, finden Sie in der Dokumentation zu den unterstützten Modellen.
In der AWS GovCloud (US) Region können Sie Provisioned Throughput nur unverbindlich für benutzerdefinierte Modelle erwerben.
1. (Optional) Um Ihrem bereitgestellten Durchsatz Tags zuzuordnen, erweitern Sie den Abschnitt **Tags** und wählen Sie **Neues Tag hinzufügen** aus. Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md).
1. Wählen Sie für den **Bereitstellungsmodus** die Option **Nach** Modelleinheiten aus
1. Gehen Sie für den Abschnitt **Laufzeit und Modelleinheiten der Verpflichtung** wie folgt vor:
1. **Wählen Sie im Abschnitt Laufzeit der Verpflichtung** auswählen den Zeitraum aus, für den Sie sich verpflichten möchten, den bereitgestellten Durchsatz zu nutzen.
1. Geben Sie im Feld **Modelleinheiten** die gewünschte Anzahl von Modelleinheiten (MUs) ein. Wenn Sie ein kostenpflichtiges Modell bereitstellen, müssen Sie zunächst das [AWSSupport Center](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) aufsuchen, um eine Erhöhung der Anzahl der Modelle, die Sie erwerben können MUs , zu beantragen.
1. Wählen Sie **Bereitgestellten Durchsatz erwerben** aus.
1. Prüfen Sie den angezeigten Hinweis und bestätigen Sie die Verpflichtungsfrist und den Preis, indem Sie das Kontrollkästchen aktivieren. Wählen Sie dann **Kauf bestätigen** aus.
1. In der Konsole wird die Übersichtsseite **für den bereitgestellten Durchsatz** angezeigt. **Der **Status** des bereitgestellten Durchsatzes in der Tabelle Bereitgestellter Durchsatz lautet Creating.** **Wenn die Erstellung des bereitgestellten Durchsatzes abgeschlossen ist, ändert sich der **Status** in Betrieb.** Wenn das Update fehlschlägt, lautet der **Status** **Fehlgeschlagen**.
------
#### [ API ]
Um einen Provisioned Throughput zu erwerben, senden Sie eine [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)Anfrage mit einem [Amazon Bedrock Control Plane-Endpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp).
Weitere Informationen zum Inhalt des Anforderungstexts und zu den Parametern, die Sie angeben müssen, um einen bereitgestellten Durchsatz nach Modelleinheiten zu erstellen, finden Sie [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)in der *Amazon Bedrock API-Referenz*.
**Anmerkung**
Die Basismodelle, für die Sie Provisioned Throughput unverbindlich erwerben können, finden Sie in der Dokumentation zu den unterstützten Modellen.
In der AWS GovCloud (US) Region können Sie Provisioned Throughput nur unverbindlich für benutzerdefinierte Modelle erwerben.
Die Antwort gibt a zurück`provisionedModelArn`, das Sie als [Inferenz `modelId` im Modell](inference.md) verwenden können. Um zu überprüfen, wann der Provisioned Throughput einsatzbereit ist, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage und überprüfen Sie, ob der Status lautet. `InService` Schlägt das Update fehl, lautet der `Failed` Status und die [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Antwort enthält eine`failureMessage`.
[Siehe Codebeispiele](prov-thru-code-examples.md)
------
# Informationen zu einem bereitgestellten Durchsatz anzeigen
Um zu erfahren, wie Sie Informationen zu einem von Ihnen gekauften Provisioned Throughput anzeigen können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:
------
#### [ Console ]
**Um Informationen über einen bereitgestellten Durchsatz anzuzeigen**
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich die Option **Provisioned Throughput** aus.
1. Wählen Sie im Abschnitt **Bereitgestellter Durchsatz** einen Bereitgestellten Durchsatz aus.
1. **Sehen Sie sich die Details für den bereitgestellten Durchsatz im Abschnitt **Übersicht über den bereitgestellten Durchsatz** und die mit Ihrem bereitgestellten Durchsatz verknüpften Tags im Abschnitt Tags an.**
------
#### [ API ]
Um Informationen über einen bestimmten bereitgestellten Durchsatz abzurufen, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Geben Sie entweder den Namen des bereitgestellten Durchsatzes oder seinen ARN als. `provisionedModelId`
Um Informationen über alle bereitgestellten Durchsätze in einem Konto aufzulisten, senden Sie eine [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Um die Anzahl der zurückgegebenen Ergebnisse zu kontrollieren, können Sie die folgenden optionalen Parameter angeben:
****
| Feld | Short description |
| --- | --- |
| maxResults | Die maximale Anzahl der Ergebnisse, die in einer Antwort zurückzugeben sind. |
| nextToken | Wenn es mehr Ergebnisse gibt als die Zahl, die Sie in dem maxResults Feld angegeben haben, gibt die Antwort einen nextToken Wert zurück. Um den nächsten Ergebnisstapel zu sehen, senden Sie den nextToken Wert in einer anderen Anfrage. |
Weitere optionale Parameter, die Sie zum Sortieren und Filtern der Ergebnisse angeben können, finden Sie unter [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html).
Um alle Tags für einen bereitgestellten Durchsatz aufzulisten, senden Sie eine [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)Anfrage mit einem [Endpunkt der Amazon Bedrock-Steuerebene und geben](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) Sie den Amazon-Ressourcennamen (ARN) des bereitgestellten Durchsatzes an.
[Sehen Sie sich die Codebeispiele an](prov-thru-code-examples.md)
------
# Einen bereitgestellten Durchsatz ändern
Welche Aspekte eines bereitgestellten Durchsatzes Sie nach dem Kauf bearbeiten können, hängt vom Bereitstellungsmodus ab. Bei Provisioned Throughputs by Model Units können Sie nur den Namen und die Tags Ihres Provisioned Throughputs bearbeiten. Falls es sich um ein benutzerdefiniertes Modell handelt, können Sie auch das Modell bearbeiten.
Mit Provisioned Throughputs by Tokens haben Sie mehr Optionen, einschließlich der Änderung der Anzahl der Eingabe- und Ausgabetokens pro Minute für Ihren bereitgestellten Durchsatz.
In den folgenden Abschnitten erfahren Sie mehr über die Bearbeitung des Typs des bereitgestellten Durchsatzes, den Sie ändern möchten.
## Ändern Sie einen bereitgestellten Durchsatz nach Modelleinheiten
Sie können den Namen oder die Tags eines vorhandenen bereitgestellten Durchsatzes bearbeiten.
Die folgenden Einschränkungen gelten für die Änderung des Modells, dem der bereitgestellte Durchsatz zugeordnet ist:
+ Sie können das Modell für einen bereitgestellten Durchsatz, der einem Basismodell zugeordnet ist, nicht ändern.
+ Wenn der bereitgestellte Durchsatz einem benutzerdefinierten Modell zugeordnet ist, können Sie die Zuordnung zu dem Basismodell ändern, von dem er angepasst wurde, oder zu einem anderen benutzerdefinierten Modell, das von demselben Basismodell abgeleitet wurde.
Während ein bereitgestellter Durchsatz aktualisiert wird, können Sie mithilfe des bereitgestellten Durchsatzes Inferenzen durchführen, ohne den laufenden Datenverkehr Ihrer Endkunden zu unterbrechen. Wenn Sie das Modell geändert haben, dem der bereitgestellte Durchsatz zugeordnet ist, erhalten Sie möglicherweise Ausgaben aus dem alten Modell, bis das Update vollständig bereitgestellt ist.
Um zu erfahren, wie Sie einen bereitgestellten Durchsatz bearbeiten können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor:
------
#### [ Console ]
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus.
1. Wählen Sie im Abschnitt **Bereitgestellter Durchsatz einen** Bereitgestellten Durchsatz aus.
1. Wählen Sie **Bearbeiten** aus. Sie können die folgenden Felder bearbeiten:
+ **Name des bereitgestellten Durchsatzes** — Ändern Sie den Namen des bereitgestellten Durchsatzes.
+ **Modell auswählen** — Wenn der bereitgestellte Durchsatz einem benutzerdefinierten Modell zugeordnet ist, können Sie das zugeordnete Modell ändern.
1. Sie können die mit Ihrem bereitgestellten Durchsatz verknüpften **Tags im Abschnitt Tags** bearbeiten. Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md).
1. Um Ihre Änderungen zu speichern, wählen Sie **Änderungen speichern**.
1. In der Konsole wird die Übersichtsseite „**Bereitgestellter Durchsatz**“ angezeigt. **Der **Status** des bereitgestellten Durchsatzes in der Tabelle Bereitgestellter Durchsatz lautet Aktualisierend.** **Wenn die Aktualisierung des bereitgestellten Durchsatzes abgeschlossen ist, ändert sich der **Status** in Betrieb.** Wenn die Aktualisierung fehlschlägt, lautet der **Status** **Fehlgeschlagen**.
------
#### [ API ]
Um einen bereitgestellten Durchsatz zu bearbeiten, senden Sie eine [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp).
Weitere Informationen zum Anfragetext und den Parametern, die Sie angeben müssen, finden Sie [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)in der *Amazon Bedrock API-Referenz.*
Wenn die Aktion erfolgreich ist, gibt die Antwort eine HTTP 200-Statusantwort zurück. Um zu überprüfen, wann der Provisioned Throughput einsatzbereit ist, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage und überprüfen Sie, ob der Status lautet`InService`. Sie können einen bereitgestellten Durchsatz nicht aktualisieren oder löschen, solange er den Status hat. `Updating` Schlägt das Update fehl, lautet der `Failed` Status und die [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Antwort enthält eine`failureMessage`.
Um Tags zu einem bereitgestellten Durchsatz hinzuzufügen, senden Sie eine [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html)Anfrage mit einem [Endpunkt der Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) und geben Sie den Amazon-Ressourcennamen (ARN) des bereitgestellten Durchsatzes an. Der Anforderungstext enthält ein `tags`-Feld, bei dem es sich um ein Objekt handelt, das ein Schlüssel-Wert-Paar enthält, das Sie für jedes Tag angeben.
Um Tags aus einem bereitgestellten Durchsatz zu entfernen, senden Sie eine [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html)Anfrage mit einem [Endpunkt der Amazon Bedrock-Steuerebene und geben](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) Sie den Amazon-Ressourcennamen (ARN) des bereitgestellten Durchsatzes an. Der `tagKeys`-Anfragesparameter ist eine Liste mit den Schlüsseln für die Tags, die Sie entfernen möchten.
[Siehe Codebeispiele](prov-thru-code-examples.md)
------
# Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource
Nachdem Sie einen Provisioned Throughput erworben haben, können Sie ihn mit den folgenden Funktionen verwenden:
+ **Modellinferenz** — Sie können den bereitgestellten Durchsatz auf einer Amazon Bedrock-Konsole testen. Wenn Sie bereit sind, den bereitgestellten Durchsatz bereitzustellen, richten Sie Ihre Anwendung so ein, dass das bereitgestellte Modell aufgerufen wird. Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und befolgen Sie dann die Schritte:
------
#### [ Console ]
**So verwenden Sie einen bereitgestellten Durchsatz im Amazon Bedrock Console Playground**
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich je nach **Anwendungsfall Chat**, **Text** oder **Bild** unter **Playgrounds aus**.
1. Klicken Sie auf **Modell auswählen**.
1. Im **1. Wählen Sie in der Spalte Kategorie** einen Anbieter oder eine benutzerdefinierte Modellkategorie aus. Dann, in der **2. Wählen Sie in der Spalte Modell** das Modell aus, dem Ihr bereitgestellter Durchsatz zugeordnet ist.
1. In der **3. Wählen Sie in der Spalte Durchsatz** Ihren bereitgestellten Durchsatz aus.
1. Wählen Sie **Anwenden** aus.
Informationen zur Nutzung der Amazon Bedrock Playgrounds finden Sie unter. [Generieren von Antworten in der Konsole mithilfe von Playgrounds](playgrounds.md)
------
#### [ API ]
Um Inferenzen mit einem bereitgestellten Durchsatz auszuführen, senden Sie eine, [InvokeModel[InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) - oder [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)Anfrage mit einem [Amazon Bedrock-Laufzeitendpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Geben Sie den bereitgestellten Modell-ARN als `modelId`-Parameter an. Informationen zu den Anforderungen für den Anfragetext für verschiedene Modelle finden Sie unter. [Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md)
[Siehe Codebeispiele](prov-thru-code-examples.md)
------
+ **Einen bereitgestellten Durchsatz einem Agentenalias** zuordnen — Sie können einen bereitgestellten Durchsatz zuordnen, wenn Sie einen Agentenalias [erstellen](agents-deploy.md) oder [aktualisieren](agents-alias-edit.md). In der Amazon-Bedrock-Konsole wählen Sie den bereitgestellten Durchsatz, wenn Sie den Alias einrichten oder bearbeiten. In der Amazon Bedrock API geben Sie `provisionedThroughput` an, `routingConfiguration` wann Sie eine [CreateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgentAlias.html)oder [UpdateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_UpdateAgentAlias.html); -Anfrage senden.
# Löschen Sie einen bereitgestellten Durchsatz oder brechen Sie die auto Verlängerung ab
Ihr bereitgestellter Durchsatz wird am Ende jeder Vertragslaufzeit automatisch verlängert, wobei Ihre aktuellen Konfigurationen für Eingabe- und Ausgabetokens beibehalten werden.
Wenn Sie Ihren Provisioned Throughput nicht behalten möchten, können Sie ihn löschen oder bei Provisioned Throughput by Tokens die auto Verlängerung stornieren, um zu verhindern, dass er nach Ablauf der aktuellen Laufzeit verlängert wird.
## Einen bereitgestellten Durchsatz löschen
Wenn Sie einen bereitgestellten Durchsatz löschen, können Sie das Modell nicht mehr mit dem Durchsatzniveau aufrufen, für das Sie es gekauft haben. Wenn Sie einen bereitgestellten Durchsatz löschen, der einem benutzerdefinierten Modell zugeordnet ist, wird das benutzerdefinierte Modell nicht gelöscht. Informationen zum Löschen eines benutzerdefinierten Modells finden Sie unter[Löschen eines benutzerdefinierten Modells](model-customization-delete.md).
**Anmerkung**
Sie können einen Provisioned Throughput by Model Units with Commitment nicht löschen, bevor die Vertragslaufzeit abgelaufen ist.
Um zu erfahren, wie Sie einen bereitgestellten Durchsatz löschen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor:
------
#### [ Console ]
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus.
1. Wählen Sie im Abschnitt **Provisioned Throughput einen** Provisioned Throughput aus.
1. Wählen Sie im Dropdownmenü **Aktionen** die Option **Löschen** aus.
1. In der Konsole wird ein modales Formular angezeigt, das Sie darauf hinweist, dass das Löschen dauerhaft ist. Wählen Sie **Bestätigen** aus, um fortzufahren.
1. Der bereitgestellte Durchsatz wird sofort gelöscht.
------
#### [ API ]
Um einen bereitgestellten Durchsatz zu löschen, senden Sie eine [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Geben Sie entweder den Namen des bereitgestellten Durchsatzes oder seinen ARN als. `provisionedModelId` Wenn der Löschvorgang erfolgreich ist, gibt die Antwort einen HTTP 200-Statuscode zurück.
[Siehe Codebeispiele](prov-thru-code-examples.md)
------
## auto Verlängerung für einen bereitgestellten Durchsatz stornieren
Bei Provisioned Throughput by Tokens können Sie die auto Verlängerung jederzeit vor Ablauf Ihrer Laufzeit kündigen, um zu verhindern, dass ein Provisioned Throughput automatisch verlängert wird.
Wenn Sie die auto Verlängerung kündigen, bleibt Ihr Provisioned Throughput bis zum Ende Ihrer Vertragslaufzeit in Betrieb. Ihnen wird weiterhin die volle Bereitstellungsgebühr für Ihre aktuelle Laufzeit berechnet, unabhängig davon, ob Sie Inference verwenden oder nicht.
Nachdem Sie die auto Verlängerung für einen bereitgestellten Durchsatz storniert haben, können Sie für den Rest der Laufzeit des Abonnements keine weiteren Änderungen an Ihrem bereitgestellten Durchsatz vornehmen.
**Anmerkung**
Die automatische Verlängerung kann nach der Kündigung nicht wieder aktiviert werden. Wenn Sie Provisioned Throughput nach Ablauf Ihrer aktuellen Laufzeit benötigen, müssen Sie einen neuen Provisioned Throughput erwerben.
Um zu erfahren, wie Sie die auto Verlängerung für einen Provisioned Throughput by Tokens stornieren können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor:
------
#### [ Console ]
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus.
1. Wählen Sie im Abschnitt **Provisioned Throughput einen** Provisioned Throughput aus.
1. Wählen Sie im Drop-down-Menü „**Aktionen**“ die Option **auto Verlängerung stornieren** aus.
1. In der Konsole wird ein modales Formular angezeigt, das Sie darauf hinweist, dass diese Aktion nicht rückgängig gemacht werden kann. Wählen Sie **Bestätigen** aus, um fortzufahren.
1. Der bereitgestellte Durchsatz bleibt bis zum Ende der aktuellen Laufzeit aktiv und wird danach automatisch gelöscht.
------
#### [ API ]
Um die auto Verlängerung für einen Provisioned Throughput zu stornieren, senden Sie eine [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)Anfrage mit einem [Amazon Bedrock-Steuerungsebenen-Endpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp), dessen `disableAutoRenew` Parameter auf gesetzt ist. `true` Der Provisioned Throughput bleibt bis zum Ende der aktuellen Laufzeit aktiv.
[Siehe Codebeispiele](prov-thru-code-examples.md)
------
# Codebeispiele für den bereitgestellten Durchsatz
Die folgenden Codebeispiele zeigen, wie Sie einen Provisioned Throughput erstellen und wie Sie ihn mithilfe des Python-SDK und des Python-SDK verwalten AWS CLI und aufrufen. Sie können einen bereitgestellten Durchsatz aus einem Basismodell oder aus einem Modell erstellen, das Sie bereits angepasst haben. Bevor Sie beginnen, müssen Sie die folgenden Voraussetzungen erfüllen:
**Voraussetzungen**
In den folgenden Beispielen wird das Amazon Nova Lite Modell verwendet, dessen Modell-ID lautet`amazon.nova-lite-v1:0:24k`. Falls Sie dies noch nicht getan haben, fordern Sie Zugriff auf die an, Amazon Nova Lite indem Sie die Schritte unter befolgen[Modellzugriff mit SDK und CLI verwalten](model-access.md#model-access-modify).
Wenn Sie Provisioned Throughput für ein anderes Foundation-Modell oder ein benutzerdefiniertes Modell erwerben möchten, müssen Sie wie folgt vorgehen:
1. Suchen Sie die ID (für Foundation-Modelle), den Namen (für benutzerdefinierte Modelle) oder den ARN (für beide) des Modells, indem Sie einen der folgenden Schritte ausführen:
+ Wenn Sie einen Provisioned Throughput für ein Foundation-Modell erwerben, suchen Sie nach der ID oder dem Amazon-Ressourcennamen (ARN) eines Modells, das die Bereitstellung auf eine der folgenden Arten unterstützt:
+ Suchen Sie in der Tabelle nach dem Wert.
+ Senden Sie eine [ListFoundationModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListFoundationModels.html)Anfrage und geben Sie den `byInferenceType` Wert an`PROVISIONED`, um eine Liste der Modelle anzuzeigen, die Provisioning unterstützen. Suchen Sie den Wert im `modelArn` Feld `modelId` oder.
+ Wenn Sie einen Provisioned Throughput für ein benutzerdefiniertes Modell erwerben, suchen Sie auf eine der folgenden Arten nach dem Namen oder Amazon-Ressourcennamen (ARN) des Modells, das Sie angepasst haben:
+ Wählen Sie in der Amazon Bedrock-Konsole im linken Navigationsbereich die Option **Benutzerdefinierte Modelle** aus. Suchen Sie den Namen Ihres maßgeschneiderten Modells in der **Modellliste** oder wählen Sie ihn aus und suchen Sie den **Modell-ARN** in den **Modelldetails**.
+ Senden Sie eine [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)Anfrage und finden Sie den `modelArn` Wert `modelName` oder den Wert Ihres benutzerdefinierten Modells in der Antwort.
1. Ändern Sie `body` die [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)Anfrage in den folgenden Beispielen so, dass sie dem Format des Hauptteils des Modells entspricht, indem Sie sie in suchen[Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md).
Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und befolgen Sie dann die Schritte:
------
#### [ AWS CLI ]
1. Senden Sie eine [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)Anfrage zur Erstellung eines unverbindlichen Provisioned *MyPT* Throughput-Aufrufs, indem Sie den folgenden Befehl in einem Terminal ausführen:
```
aws bedrock create-provisioned-model-throughput \
--model-units 1 \
--provisioned-model-name MyPT \
--model-id amazon.nova-lite-v1:0:24k
```
1. In der Antwort wird ein `provisioned-model-arn` zurückgegeben. Warten Sie etwas, bis die Erstellung abgeschlossen ist. Um den Status zu überprüfen, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage und geben Sie den Namen oder ARN des bereitgestellten Modells als an`provisioned-model-id`, indem Sie den folgenden Befehl ausführen:
```
aws bedrock get-provisioned-model-throughput \
--provisioned-model-id ${provisioned-model-arn}
```
1. Führen Sie eine Inferenz mit Ihrem bereitgestellten Modell durch, indem Sie eine Anfrage senden. [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) Geben Sie den ARN des bereitgestellten Modells an, das in der `CreateProvisionedModelThroughput` Antwort zurückgegeben wurde, als. `model-id` Die Ausgabe wird in eine Datei mit dem Namen *output.txt* in Ihrem aktuellen Ordner geschrieben.
```
aws bedrock-runtime invoke-model \
--model-id ${provisioned-model-arn} \
--body '{
"messages": [{
"role": "user",
"content": [{
"text": "Hello"
}]
}],
"inferenceConfig": {
"temperature":0.7
}
}' \
--cli-binary-format raw-in-base64-out \
output.txt
```
1. Senden Sie mit dem folgenden Befehl eine [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)Anfrage zum Löschen des bereitgestellten Durchsatzes. Der bereitgestellte Durchsatz wird Ihnen nicht mehr in Rechnung gestellt.
```
aws bedrock delete-provisioned-model-throughput
--provisioned-model-id MyPT
```
------
#### [ Python (Boto) ]
Die folgenden Codefragmente führen Sie durch die Erstellung eines bereitgestellten Durchsatzes, das Abrufen von Informationen dazu und das Aufrufen des bereitgestellten Durchsatzes.
1. Um einen unverbindlichen Provisioned Throughput-Aufruf zu erstellen *MyPT* und den ARN des Provisioned Throughput einer aufgerufenen Variablen zuzuweisen*provisioned\$1model\$1arn*, senden Sie die folgende Anfrage: [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)
```
import boto3
provisioned_model_name = 'MyPT'
bedrock = boto3.client(service_name='bedrock')
response = bedrock.create_provisioned_model_throughput(
modelUnits=1,
provisionedModelName=provisioned_model_name,
modelId='amazon.nova-lite-v1:0:24k'
)
provisioned_model_arn = response['provisionedModelArn']
```
1. Warten Sie etwas, bis die Erstellung abgeschlossen ist. Sie können den Status mit dem folgenden Codeausschnitt überprüfen. Sie können entweder den Namen des bereitgestellten Durchsatzes oder den von der [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)Antwort zurückgegebenen ARN als angeben. `provisionedModelId`
```
bedrock.get_provisioned_model_throughput(provisionedModelId=provisioned_model_name)
```
1. Führen Sie die Inferenz mit Ihrem aktualisierten bereitgestellten Modell mit dem folgenden Befehl aus und verwenden Sie den ARN des bereitgestellten Modells als. `modelId`
```
import json
import logging
import boto3
from botocore.exceptions import ClientError
class ImageError(Exception):
"Custom exception for errors returned by the model"
def __init__(self, message):
self.message = message
logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)
def generate_text(model_id, body):
"""
Generate text using your provisioned custom model.
Args:
model_id (str): The model ID to use.
body (str) : The request body to use.
Returns:
response (json): The response from the model.
"""
logger.info(
"Generating text with your provisioned custom model %s", model_id)
brt = boto3.client(service_name='bedrock-runtime')
accept = "application/json"
content_type = "application/json"
response = brt.invoke_model(
body=body, modelId=model_id, accept=accept, contentType=content_type
)
response_body = json.loads(response.get("body").read())
finish_reason = response_body.get("error")
if finish_reason is not None:
raise ImageError(f"Text generation error. Error is {finish_reason}")
logger.info(
"Successfully generated text with provisioned custom model %s", model_id)
return response_body
def main():
"""
Entrypoint for example.
"""
try:
logging.basicConfig(level=logging.INFO,
format="%(levelname)s: %(message)s")
model_id = provisioned-model-arn
body = json.dumps({
"inputText": "what isAWS?"
})
response_body = generate_text(model_id, body)
print(f"Input token count: {response_body['inputTextTokenCount']}")
for result in response_body['results']:
print(f"Token count: {result['tokenCount']}")
print(f"Output text: {result['outputText']}")
print(f"Completion reason: {result['completionReason']}")
except ClientError as err:
message = err.response["Error"]["Message"]
logger.error("A client error occurred: %s", message)
print("A client error occured: " +
format(message))
except ImageError as err:
logger.error(err.message)
print(err.message)
else:
print(
f"Finished generating text with your provisioned custom model {model_id}.")
if __name__ == "__main__":
main()
```
1. Löschen Sie den bereitgestellten Durchsatz mit dem folgenden Codeausschnitt. Der bereitgestellte Durchsatz wird Ihnen nicht mehr in Rechnung gestellt.
```
bedrock.delete_provisioned_model_throughput(provisionedModelId=provisioned_model_name)
```
------