Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Bereitstellen eines benutzerdefinierten Modells für On-Demand-Inferenz
Nachdem Sie ein benutzerdefiniertes Modell mit einem Modellanpassungsjob erstellt oder ein SageMaker KI-trainiertes benutzerdefiniertes Amazon Nova Modell importiert haben, können Sie On-Demand-Inferenz für das Modell einrichten. Bei On-Demand-Inferenz zahlen Sie nur für das, was Sie tatsächlich nutzen. Zudem müssen Sie keine bereitgestellten Rechenressourcen einrichten.
Um On-Demand-Inferenz für ein benutzerdefiniertes Modell einzurichten, stellen Sie es mit einer benutzerdefinierten Modellbereitstellung bereit. Nach Bereitstellung des benutzerdefinierten Modells verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als Parameter `modelId`, wenn Sie Prompts senden und Antworten mit Modellinferenz generieren.
Weitere Informationen zur Preisgestaltung für On-Demand-Inferenz finden Sie unter [Amazon Bedrock – Preise](https://aws.amazon.com/bedrock/pricing). Sie können ein benutzerdefiniertes Modell für On-Demand-Inferenz in den folgenden Regionen bereitstellen (weitere Informationen zu den in Amazon Bedrock unterstützten Regionen finden Sie unter [Amazon-Bedrock-Endpunkte und -Kontingente](https://docs.aws.amazon.com/general/latest/gr/bedrock.html)):
+ USA Ost (Nord-Virginia)
+ USA West (Oregon)
## Voraussetzungen für die Bereitstellung eines benutzerdefinierten Modells für On-Demand-Inferenz
Vergewissern Sie sich, dass die folgenden Voraussetzung erfüllt sind, damit Sie ein benutzerdefiniertes Modell für On-Demand-Inferenz bereitstellen können:
+ Sie müssen die Region USA Ost (Nord-Virginia) oder USA West (Oregon) verwenden.
+ Sie müssen das Modell am oder nach dem 16.07.2025 anpassen. Informationen zu unterstützten Modellen finden Sie unter [Unterstützte Basismodelle](#custom-model-inference-supported-models).
+ Ihr Konto muss über die Berechtigung zum Zugriff auf das bereitzustellende Modell verfügen. Weitere Informationen zum Zugriff und zur Sicherheit bei der Modellanpassung finden Sie unter [Zugriff und Sicherheit bei der Modellanpassung](custom-model-job-access-security.md).
+ Wenn das Modell mit einem AWS KMS Schlüssel verschlüsselt ist, benötigen Sie die Erlaubnis, diesen Schlüssel zu verwenden. Weitere Informationen finden Sie unter [Verschlüsselung benutzerdefinierter Modelle](encryption-custom-job.md).
## Unterstützte Basismodelle
Sie können On-Demand-Inferenz für die folgenden Basismodelle einrichten:
+ Amazon Nova Lite — Unterstützte Region: USA Ost (Nord-Virginia)
+ Amazon Nova 2 Lite — Unterstützte Region: USA Ost (Nord-Virginia)
+ Amazon Nova Micro — Unterstützte Region: USA Ost (Nord-Virginia)
+ Amazon Nova Pro — Unterstützte Region: USA Ost (Nord-Virginia)
+ Meta Llama 3.3 70B Instruct — Unterstützte Region: USA West (Oregon)
## Bereitstellen eines benutzerdefinierten Modells
Sie können ein benutzerdefiniertes Modell mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs bereitstellen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
------
#### [ Console ]
Sie stellen ein benutzerdefiniertes Modell auf der Seite **Benutzerdefinierte Modelle** wie folgt bereit. Sie können ein Modell auch über die **Benutzerdefiniertes On-Demand-Modell** mit denselben Feldern bereitstellen. Diese Seite finden Sie, indem Sie im Navigationsbereich unter **Inferieren** die Option **Benutzerdefiniertes On-Demand-Modell** auswählen.
**So stellen Sie ein benutzerdefinierten Modell bereit**
1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Wählen Sie im linken Navigationsbereich unter **Optimieren** die Option **Benutzerdefinierte Modelle** aus.
1. Wählen Sie auf der Registerkarte **Modelle** das Optionsfeld für das Modell aus, das Sie bereitstellen möchten.
1. Wählen Sie **Inferenz einrichten** und anschließend **Auf Abruf bereitstellen** aus.
1. Geben Sie unter **Einzelheiten zur Bereitstellung** die folgenden Informationen an:
+ **Name der Bereitstellung** (erforderlich) – Geben Sie einen eindeutigen Namen für die Bereitstellung ein.
+ **Beschreibung** (optional) – Geben Sie eine Beschreibung der Bereitstellung ein.
+ **Tags** (optional) – Fügen Sie Tags für die Kostenzuordnung und das Ressourcenmanagement hinzu.
1. Wählen Sie **Erstellen** aus. Wenn der Status der Bereitstellung `Active` lautet, ist das benutzerdefinierte Modell bereit für On-Demand-Inferenz. Weitere Informationen zu den benutzerdefinierten Modellen finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
------
#### [ CLI ]
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen mithilfe von bereitzustellen AWS Command Line Interface, verwenden Sie den `create-custom-model-deployment` Befehl mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Dieser Befehl verwendet die [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Operation. Die Antwort enthält den ARN der Bereitstellung. Wenn die Bereitstellung aktiv ist, verwenden Sie diesen ARN als `modelId` beim Stellen von Inferenzanforderungen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
```
aws bedrock create-custom-model-deployment \
--model-deployment-name "{{Unique name}}" \
--model-arn "{{Custom Model ARN}}" \
--description "{{Deployment description}}" \
--tags '[
{
"key": "Environment",
"value": "Production"
},
{
"key": "Team",
"value": "ML-Engineering"
},
{
"key": "Project",
"value": "CustomerSupport"
}
]' \
--client-request-token "{{unique-deployment-token}}" \
--region {{region}}
```
------
#### [ API ]
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen bereitzustellen, verwenden Sie den [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Die Antwort enthält den ARN der Bereitstellung. Wenn die Bereitstellung aktiv ist, verwenden Sie diesen ARN als `modelId` beim Stellen von Inferenzanforderungen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](#use-custom-model-on-demand).
Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) verwenden, um ein benutzerdefiniertes Modell bereitzustellen.
```
def create_custom_model_deployment(bedrock_client):
"""Create a custom model deployment
Args:
bedrock_client: A boto3 Amazon Bedrock client for making API calls
Returns:
str: The ARN of the new custom model deployment
Raises:
Exception: If there is an error creating the deployment
"""
try:
response = bedrock_client.create_custom_model_deployment(
modelDeploymentName="{{Unique deployment name}}",
modelArn="{{Custom Model ARN}}",
description="{{Deployment description}}",
tags=[
{'key': 'Environment', 'value': 'Production'},
{'key': 'Team', 'value': 'ML-Engineering'},
{'key': 'Project', 'value': 'CustomerSupport'}
],
clientRequestToken=f"deployment-{uuid.uuid4()}"
)
deployment_arn = response['customModelDeploymentArn']
print(f"Deployment created: {deployment_arn}")
return deployment_arn
except Exception as e:
print(f"Error creating deployment: {str(e)}")
raise
```
------
## Verwenden einer Bereitstellung für die On-Demand-Inferenz
Nach Bereitstellung des benutzerdefinierten Modells verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als Parameter `modelId`, wenn Sie Prompts senden und Antworten mit Modellinferenz generieren.
Informationen zum Anfordern von Inferenzen finden Sie in den folgenden Themen:
+ [So senden Sie Prompts und generieren Antworten mithilfe der Modellinferenz](inference.md)
+ [Voraussetzungen für die Ausführung der Modellinferenz](inference-prereq.md)
+ [So reichen Sie mithilfe der API Prompts ein und generieren Antworten](inference-api.md)
## Löschen einer benutzerdefinierten Modellbereitstellung
Wenn Sie Ihr Modell nicht mehr für On-Demand-Inferenz verwenden, können Sie die Bereitstellung löschen. Nachdem Sie die Bereitstellung gelöscht haben, können Sie sie nicht für On-Demand-Inferenz verwenden. Durch das Löschen der Bereitstellung wird das zugrunde liegende benutzerdefinierte Modell jedoch nicht gelöscht.
Sie können eine benutzerdefinierte Modellbereitstellung mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs löschen.
**Wichtig**
Das Löschen einer Bereitstellung eines benutzerdefinierten Modells kann nicht rückgängig gemacht werden. Stellen Sie sicher, dass Sie die Bereitstellung nicht mehr benötigen, bevor Sie mit dem Löschen fortfahren. Wenn Sie das benutzerdefinierte Modell erneut für On-Demand-Inferenz verwenden müssen, müssen Sie eine neue Bereitstellung erstellen.
------
#### [ Console ]
**So löschen Sie eine benutzerdefinierte Modellbereitstellung**
1. Wählen Sie im Navigationsbereich unter **Inferieren** die Option **Benutzerdefiniertes On-Demand-Modell** aus.
1. Wählen Sie die benutzerdefinierte Modellbereitstellung aus, die Sie löschen möchten.
1. Wählen Sie **Löschen** aus.
1. Geben Sie in das Bestätigungsfeld den Bereitstellungsnamen ein, um das Löschen zu bestätigen.
1. Um die Löschung zu bestätigen, klicken Sie auf **Löschen**.
------
#### [ CLI ]
Um eine benutzerdefinierte Modellbereitstellung mithilfe von zu löschen AWS Command Line Interface, verwenden Sie den `delete-custom-model-deployment` Befehl mit Ihrer Bereitstellungs-ID. Dieser Befehl verwendet den [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API-Vorgang.
```
aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "{{deployment-arn-or-name}}" \
--region {{region}}
```
------
#### [ API ]
Um eine benutzerdefinierte Modellbereitstellung programmgesteuert zu löschen, verwenden Sie den [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) oder Namen der Bereitstellung. Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) einsetzen, um eine benutzerdefinierte Modellbereitstellung zu löschen.
```
def delete_custom_model_deployment(bedrock_client):
"""Delete a custom model deployment
Args:
bedrock_client: A boto3 Amazon Bedrock client for making API calls
Returns:
dict: The response from the delete operation
Raises:
Exception: If there is an error deleting the deployment
"""
try:
response = bedrock_client.delete_custom_model_deployment(
customModelDeploymentIdentifier="{{Deployment identifier}}"
)
print("Deleting deployment...")
return response
except Exception as e:
print(f"Error deleting deployment: {str(e)}")
raise
```
------