Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Einrichten von Inferenz für ein benutzerdefiniertes Modell
Nach der Erstellung eines benutzerdefinierten Modells können Sie die Inferenz mit einer der folgenden Optionen einrichten:
+ **Bereitgestellten Durchsatz erwerben** – Erwerben Sie bereitgestellten Durchsatz für Ihr Modell, um dedizierte Rechenkapazität mit garantiertem Durchsatz für gleichbleibende Leistung und geringere Latenz einzurichten.
Weitere Informationen zu bereitgestelltem Durchsatz finden Sie unter [Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock](prov-throughput.md). Weitere Informationen zur Verwendung von benutzerdefinierten Modellen mit bereitgestelltem Durchsatz finden Sie unter [Erwerben von bereitgestelltem Durchsatz für ein benutzerdefiniertes Modell](custom-model-use-pt.md).
+ **Benutzerdefiniertes Modell für On-Demand-Inferenz bereitstellen** – Zum Einrichten von On-Demand-Inferenz stellen Sie das Modell mit einer benutzerdefinierten Modellbereitstellung bereit. Nach der Bereitstellung des Modells können Sie es mithilfe des ARN für die benutzerdefinierte Modellbereitstellung aufrufen. Bei On-Demand-Inferenz zahlen Sie nur für das, was Sie tatsächlich nutzen. Zudem müssen Sie keine bereitgestellten Rechenressourcen einrichten.
Weitere Informationen zur Bereitstellung benutzerdefinierter Modelle für On-Demand-Inferenz finden Sie unter [Bereitstellen eines benutzerdefinierten Modells für On-Demand-Inferenz](deploy-custom-model-on-demand.md).
**Topics**
+ [Erwerben von bereitgestelltem Durchsatz für ein benutzerdefiniertes Modell](custom-model-use-pt.md)
+ [Bereitstellen eines benutzerdefinierten Modells für On-Demand-Inferenz](deploy-custom-model-on-demand.md)
# Erwerben von bereitgestelltem Durchsatz für ein benutzerdefiniertes Modell
Wenn Sie ein benutzerdefiniertes Modell mit dedizierter Rechenkapazität und garantiertem Durchsatz verwenden möchten, haben Sie die Möglichkeit, dafür bereitgestellten Durchsatz zu kaufen. Anschließend können Sie das resultierende bereitgestellte Modell als Inferenz verwenden. Weitere Informationen zu bereitgestelltem Durchsatz finden Sie unter [Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock](prov-throughput.md).
------
#### [ Console ]
**So erwerben Sie bereitgestellten Durchsatz für ein benutzerdefiniertes Modell**
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich unter **Optimieren** die Option **Benutzerdefinierte Modelle** aus.
1. Wählen Sie auf der Registerkarte **Modelle** das Optionsfeld neben dem Modell aus, für das Sie bereitgestellten Durchsatz kaufen möchten. Oder wählen Sie den Modellnamen aus, um zur Detailseite zu navigieren.
1. Wählen Sie **Bereitgestellten Durchsatz kaufen** aus.
1. Führen Sie die Schritte in der Dokumentation zum bereitgestellten Durchsatz aus, um weitere Informationen zu erhalten.
1. Führen Sie nach dem Kauf von bereitgestelltem Durchsatz für das benutzerdefinierte Modell die Schritte in der Dokumentation zur Nutzung des bereitgestellten Durchsatzes aus.
Wenn Sie einen Vorgang ausführen, der die Verwendung benutzerdefinierter Modelle unterstützt, wird Ihr benutzerdefiniertes Modell als Option im Menü zur Modellauswahl angezeigt.
------
#### [ API ]
Um Provisioned Throughput für ein benutzerdefiniertes Modell zu erwerben, folgen Sie den Schritten in der Dokumentation zum bereitgestellten Durchsatz, um eine Anfrage [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)(siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem [Amazon Bedrock Control](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) Plane-Endpunkt zu senden. Verwenden Sie den Namen oder ARN des benutzerdefinierten Modells als `modelId`. Als Antwort wird eine zurückgegeben`provisionedModelArn`, die Sie als Antwort verwenden können, `modelId` wenn Sie eine [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)Oder-Anfrage stellen. [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)
[Siehe Codebeispiele](model-customization-code-samples.md)
------
# Bereitstellen eines benutzerdefinierten Modells für On-Demand-Inferenz
Nachdem Sie ein benutzerdefiniertes Modell mit einem Modellanpassungsjob erstellt oder ein SageMaker KI-trainiertes benutzerdefiniertes Amazon Nova Modell importiert haben, können Sie On-Demand-Inferenz für das Modell einrichten. Bei On-Demand-Inferenz zahlen Sie nur für das, was Sie tatsächlich nutzen. Zudem müssen Sie keine bereitgestellten Rechenressourcen einrichten.
Um On-Demand-Inferenz für ein benutzerdefiniertes Modell einzurichten, stellen Sie es mit einer benutzerdefinierten Modellbereitstellung bereit. Nach Bereitstellung des benutzerdefinierten Modells verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als Parameter `modelId`, wenn Sie Prompts senden und Antworten mit Modellinferenz generieren.
Weitere Informationen zur Preisgestaltung für On-Demand-Inferenz finden Sie unter [Amazon Bedrock – Preise](https://aws.amazon.com/bedrock/pricing). Sie können ein benutzerdefiniertes Modell für On-Demand-Inferenz in den folgenden Regionen bereitstellen (weitere Informationen zu den in Amazon Bedrock unterstützten Regionen finden Sie unter [Amazon-Bedrock-Endpunkte und -Kontingente](https://docs.aws.amazon.com/general/latest/gr/bedrock.html)):
+ USA Ost (Nord-Virginia)
+ USA West (Oregon)
## Voraussetzungen für die Bereitstellung eines benutzerdefinierten Modells für On-Demand-Inferenz
Vergewissern Sie sich, dass die folgenden Voraussetzung erfüllt sind, damit Sie ein benutzerdefiniertes Modell für On-Demand-Inferenz bereitstellen können:
+ Sie müssen die Region USA Ost (Nord-Virginia) oder USA West (Oregon) verwenden.
+ Sie müssen das Modell am oder nach dem 16.07.2025 anpassen. Informationen zu unterstützten Modellen finden Sie unter [Unterstützte Basismodelle](#custom-model-inference-supported-models).
+ Ihr Konto muss über die Berechtigung zum Zugriff auf das bereitzustellende Modell verfügen. Weitere Informationen zum Zugriff und zur Sicherheit bei der Modellanpassung finden Sie unter [Zugriff und Sicherheit bei der Modellanpassung](custom-model-job-access-security.md).
+ Wenn das Modell mit einem AWS KMS Schlüssel verschlüsselt ist, benötigen Sie die Erlaubnis, diesen Schlüssel zu verwenden. Weitere Informationen finden Sie unter [Verschlüsselung benutzerdefinierter Modelle](encryption-custom-job.md).
## Unterstützte Basismodelle
Sie können On-Demand-Inferenz für die folgenden Basismodelle einrichten:
+ Amazon Nova Lite
+ Amazon Nova Micro
+ Amazon Nova Pro
+ Meta Llama 3.3 70B Instruct
## Bereitstellen eines benutzerdefinierten Modells
Sie können ein benutzerdefiniertes Modell mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs bereitstellen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
------
#### [ Console ]
Sie stellen ein benutzerdefiniertes Modell auf der Seite **Benutzerdefinierte Modelle** wie folgt bereit. Sie können ein Modell auch über die **Benutzerdefiniertes On-Demand-Modell** mit denselben Feldern bereitstellen. Diese Seite finden Sie, indem Sie im Navigationsbereich unter **Inferieren** die Option **Benutzerdefiniertes On-Demand-Modell** auswählen.
**So stellen Sie ein benutzerdefinierten Modell bereit**
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich unter **Optimieren** die Option **Benutzerdefinierte Modelle** aus.
1. Wählen Sie auf der Registerkarte **Modelle** das Optionsfeld für das Modell aus, das Sie bereitstellen möchten.
1. Wählen Sie **Inferenz einrichten** und anschließend **Auf Abruf bereitstellen** aus.
1. Geben Sie unter **Einzelheiten zur Bereitstellung** die folgenden Informationen an:
+ **Name der Bereitstellung** (erforderlich) – Geben Sie einen eindeutigen Namen für die Bereitstellung ein.
+ **Beschreibung** (optional) – Geben Sie eine Beschreibung der Bereitstellung ein.
+ **Tags** (optional) – Fügen Sie Tags für die Kostenzuordnung und das Ressourcenmanagement hinzu.
1. Wählen Sie **Erstellen** aus. Wenn der Status der Bereitstellung `Active` lautet, ist das benutzerdefinierte Modell bereit für On-Demand-Inferenz. Weitere Informationen zu den benutzerdefinierten Modellen finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
------
#### [ CLI ]
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen mithilfe von bereitzustellen AWS Command Line Interface, verwenden Sie den `create-custom-model-deployment` Befehl mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Dieser Befehl verwendet die [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Operation. Die Antwort enthält den ARN der Bereitstellung. Wenn die Bereitstellung aktiv ist, verwenden Sie diesen ARN als `modelId` beim Stellen von Inferenzanforderungen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
```
aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
{
"key": "Environment",
"value": "Production"
},
{
"key": "Team",
"value": "ML-Engineering"
},
{
"key": "Project",
"value": "CustomerSupport"
}
]' \
--client-request-token "unique-deployment-token" \
--region region
```
------
#### [ API ]
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen bereitzustellen, verwenden Sie den [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Die Antwort enthält den ARN der Bereitstellung. Wenn die Bereitstellung aktiv ist, verwenden Sie diesen ARN als `modelId` beim Stellen von Inferenzanforderungen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) verwenden, um ein benutzerdefiniertes Modell bereitzustellen.
```
def create_custom_model_deployment(bedrock_client):
"""Create a custom model deployment
Args:
bedrock_client: A boto3 Amazon Bedrock client for making API calls
Returns:
str: The ARN of the new custom model deployment
Raises:
Exception: If there is an error creating the deployment
"""
try:
response = bedrock_client.create_custom_model_deployment(
modelDeploymentName="Unique deployment name",
modelArn="Custom Model ARN",
description="Deployment description",
tags=[
{'key': 'Environment', 'value': 'Production'},
{'key': 'Team', 'value': 'ML-Engineering'},
{'key': 'Project', 'value': 'CustomerSupport'}
],
clientRequestToken=f"deployment-{uuid.uuid4()}"
)
deployment_arn = response['customModelDeploymentArn']
print(f"Deployment created: {deployment_arn}")
return deployment_arn
except Exception as e:
print(f"Error creating deployment: {str(e)}")
raise
```
------
## Verwenden einer Bereitstellung für die On-Demand-Inferenz
Nach Bereitstellung des benutzerdefinierten Modells verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als Parameter `modelId`, wenn Sie Prompts senden und Antworten mit Modellinferenz generieren.
Informationen zum Anfordern von Inferenzen finden Sie in den folgenden Themen:
+ [So senden Sie Prompts und generieren Antworten mithilfe der Modellinferenz](inference.md)
+ [Voraussetzungen für die Ausführung der Modellinferenz](inference-prereq.md)
+ [So reichen Sie mithilfe der API Prompts ein und generieren Antworten](inference-api.md)
## Löschen einer benutzerdefinierten Modellbereitstellung
Wenn Sie Ihr Modell nicht mehr für On-Demand-Inferenz verwenden, können Sie die Bereitstellung löschen. Nachdem Sie die Bereitstellung gelöscht haben, können Sie sie nicht für On-Demand-Inferenz verwenden. Durch das Löschen der Bereitstellung wird das zugrunde liegende benutzerdefinierte Modell jedoch nicht gelöscht.
Sie können eine benutzerdefinierte Modellbereitstellung mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs löschen.
**Wichtig**
Das Löschen einer Bereitstellung eines benutzerdefinierten Modells kann nicht rückgängig gemacht werden. Stellen Sie sicher, dass Sie die Bereitstellung nicht mehr benötigen, bevor Sie mit dem Löschen fortfahren. Wenn Sie das benutzerdefinierte Modell erneut für On-Demand-Inferenz verwenden müssen, müssen Sie eine neue Bereitstellung erstellen.
------
#### [ Console ]
**So löschen Sie eine benutzerdefinierte Modellbereitstellung**
1. Wählen Sie im Navigationsbereich unter **Inferieren** die Option **Benutzerdefiniertes On-Demand-Modell** aus.
1. Wählen Sie die benutzerdefinierte Modellbereitstellung aus, die Sie löschen möchten.
1. Wählen Sie **Löschen** aus.
1. Geben Sie in das Bestätigungsfeld den Bereitstellungsnamen ein, um das Löschen zu bestätigen.
1. Um die Löschung zu bestätigen, klicken Sie auf **Löschen**.
------
#### [ CLI ]
Um eine benutzerdefinierte Modellbereitstellung mithilfe von zu löschen AWS Command Line Interface, verwenden Sie den `delete-custom-model-deployment` Befehl mit Ihrer Bereitstellungs-ID. Dieser Befehl verwendet den [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API-Vorgang.
```
aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region
```
------
#### [ API ]
Um eine benutzerdefinierte Modellbereitstellung programmgesteuert zu löschen, verwenden Sie den [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) oder Namen der Bereitstellung. Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) einsetzen, um eine benutzerdefinierte Modellbereitstellung zu löschen.
```
def delete_custom_model_deployment(bedrock_client):
"""Delete a custom model deployment
Args:
bedrock_client: A boto3 Amazon Bedrock client for making API calls
Returns:
dict: The response from the delete operation
Raises:
Exception: If there is an error deleting the deployment
"""
try:
response = bedrock_client.delete_custom_model_deployment(
customModelDeploymentIdentifier="Deployment identifier"
)
print("Deleting deployment...")
return response
except Exception as e:
print(f"Error deleting deployment: {str(e)}")
raise
```
------