Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Ein benutzerdefiniertes Modell für On-Demand-Inferenz bereitstellen
Nachdem Sie erfolgreich ein benutzerdefiniertes Modell mit einem Modellanpassungsauftrag (Feinabstimmung, Destillation oder fortgesetztes Vortraining) erstellt haben, können Sie eine On-Demand-Inferenz für das Modell einrichten.
Um On-Demand-Inferenz für ein benutzerdefiniertes Modell einzurichten, stellen Sie das Modell mit einer benutzerdefinierten Modellbereitstellung bereit. Nachdem Sie Ihr benutzerdefiniertes Modell bereitgestellt haben, verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als `modelId`-Parameter in Ihren `InvokeModel`- oder `Converse`-API-Vorgängen. Sie können das bereitgestellte Modell für On-Demand-Inferenzen mit Amazon-Bedrock-Features wie Playgrounds, Agents und Wissensdatenbanken verwenden.
**Topics**
+ [Unterstützte Modelle](#custom-model-inference-supported-models)
+ [Bereitstellen eines benutzerdefinierten Modells](deploying-custom-model.md)
+ [Verwenden einer Bereitstellung für die On-Demand-Inferenz](use-custom-model-on-demand.md)
+ [Eine benutzerdefinierte Modellbereitstellung löschen](delete-custom-model-deployment.md)
## Unterstützte Modelle
Sie können On-Demand-Inferenz für die folgenden Modelle einrichten:
+ Amazon Nova Canvas
+ Amazon Nova Lite
+ Amazon Nova Micro
+ Amazon Nova Pro
# Bereitstellen eines benutzerdefinierten Modells
Sie können ein benutzerdefiniertes Modell mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs bereitstellen. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
**Topics**
+ [Bereitstellen eines benutzerdefinierten Modells (Konsole)](#deploy-custom-model-console)
+ [Bereitstellen eines benutzerdefinierten Modells (AWS Command Line Interface)](#deploy-custom-model-cli)
+ [Bereitstellen eines benutzerdefinierten Modells (AWS SDKs)](#deploy-custom-model-sdk)
## Bereitstellen eines benutzerdefinierten Modells (Konsole)
Sie stellen ein benutzerdefiniertes Modell auf der Seite **Benutzerdefinierte Modelle** wie folgt bereit. Sie können ein Modell auch über die Seite **Benutzerdefiniertes On-Demand-Modell** mit denselben Feldern bereitstellen. Sie finden diese Seite, indem Sie im Navigationsbereich unter **Inferenz und Bewertung** die Option **Benutzerdefiniertes On-Demand-Modell** auswählen.
**So stellen Sie ein benutzerdefinierten Modell bereit**
1. Melden Sie sich bei der [Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen](https://docs.aws.amazon.com//bedrock/latest/userguide/getting-started.html) an und öffnen Sie die Amazon Bedrock-Konsole unter. [https://console.aws.amazon.com/nova/](https://console.aws.amazon.com/nova/)
1. Wählen Sie im linken Navigationsbereich unter **Grundlagenmodelle** die Option **Benutzerdefinierte Modelle** aus.
1. Wählen Sie auf der Registerkarte **Modelle** das Optionsfeld für das Modell aus, das Sie bereitstellen möchten.
1. Wählen Sie **Inferenz einrichten** und anschließend **Auf Abruf bereitstellen** aus.
1. Geben Sie unter **Einzelheiten zur Bereitstellung** die folgenden Informationen an:
+ **Name der Bereitstellung** (erforderlich) – Geben Sie einen eindeutigen Namen für die Bereitstellung ein.
+ **Beschreibung** (optional) – Geben Sie eine Beschreibung der Bereitstellung ein.
+ **Tags** (optional) – Fügen Sie Tags für die Kostenzuordnung und das Ressourcenmanagement hinzu.
1. Wählen Sie **Erstellen** aus. Wenn der Status der Bereitstellung `Completed` lautet, ist das benutzerdefinierte Modell bereit für On-Demand-Inferenz. Weitere Informationen zur Verwendung des benutzerdefinierten Modells finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
## Bereitstellen eines benutzerdefinierten Modells (AWS Command Line Interface)
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen mithilfe von bereitzustellen AWS Command Line Interface, verwenden Sie den `create-custom-model-deployment` Befehl mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Dieser Befehl verwendet die [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Operation. Gibt den ARN der Bereitstellung zurück, den Sie als `modelId` bei Inferenzanfragen verwenden können. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
```
aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
{
"key": "Environment",
"value": "Production"
},
{
"key": "Team",
"value": "ML-Engineering"
},
{
"key": "Project",
"value": "CustomerSupport"
}
]' \
--client-request-token "unique-deployment-token" \
--region region
```
## Bereitstellen eines benutzerdefinierten Modells (AWS SDKs)
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen bereitzustellen, verwenden Sie den [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Die Antwort gibt den ARN der Bereitstellung zurück, den Sie als `modelId` bei Inferenzanfragen verwenden können. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
Der folgende Code zeigt, wie Sie das SDK für Python (Boto3) verwenden, um ein benutzerdefiniertes Modell bereitzustellen.
```
def create_custom_model_deployment(bedrock_client):
"""Create a custom model deployment
Args:
bedrock_client: A boto3 Bedrock client for making API calls
Returns:
str: The ARN of the created custom model deployment
Raises:
Exception: If there is an error creating the deployment
"""
try:
response = bedrock_client.create_custom_model_deployment(
modelDeploymentName="Unique deployment name",
modelArn="Custom Model ARN",
description="Deployment description",
tags=[
{'key': 'Environment', 'value': 'Production'},
{'key': 'Team', 'value': 'ML-Engineering'},
{'key': 'Project', 'value': 'CustomerSupport'}
],
clientRequestToken=f"deployment-{uuid.uuid4()}"
)
deployment_arn = response['customModelDeploymentArn']
print(f"Deployment created: {deployment_arn}")
return deployment_arn
except Exception as e:
print(f"Error creating deployment: {str(e)}")
raise
```
# Verwenden einer Bereitstellung für die On-Demand-Inferenz
Nachdem Sie Ihr benutzerdefiniertes Modell für On-Demand-Inferenz bereitgestellt haben, können Sie es verwenden, um Antworten zu generieren, indem Sie Inferenzanfragen stellen. Für `InvokeModel`- oder `Converse`-Vorgänge verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als `modelId`.
Informationen zum Anfordern von Inferenzen finden Sie in den folgenden Themen:
+ [Prompts senden und Antworten mit Modellinferenz generieren](https://docs.aws.amazon.com/bedrock/latest/userguide/inference.html)
+ [Voraussetzungen für die Ausführung der Modellinferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/inference-prereq.html)
+ [Mithilfe der API Prompts einreichen und Antworten generieren](https://docs.aws.amazon.com/bedrock/latest/userguide/inference-api.html)
# Eine benutzerdefinierte Modellbereitstellung löschen
Wenn Sie Ihr Modell nicht mehr für On-Demand-Inferenz verwenden, können Sie die Bereitstellung löschen. Nachdem Sie die Bereitstellung gelöscht haben, können Sie sie nicht für On-Demand-Inferenz verwenden, dadurch wird das zugrunde liegende benutzerdefinierte Modell jedoch nicht gelöscht.
Sie können eine benutzerdefinierte Modellbereitstellung mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs löschen.
**Wichtig**
Das Löschen einer Bereitstellung eines benutzerdefinierten Modells kann nicht rückgängig gemacht werden. Stellen Sie sicher, dass Sie die Bereitstellung nicht mehr benötigen, bevor Sie mit dem Löschen fortfahren. Wenn Sie das benutzerdefinierte Modell erneut für On-Demand-Inferenz verwenden müssen, müssen Sie eine neue Bereitstellung erstellen.
**Topics**
+ [Löschen einer benutzerdefinierten Modellbereitstellung (Konsole)](#delete-deployment-console)
+ [Eine benutzerdefinierte Modellbereitstellung löschen (AWS Command Line Interface)](#delete-deployment-cli)
+ [Löschen einer benutzerdefinierten Modellbereitstellung (AWS SDKs)](#delete-deployment-sdk)
## Löschen einer benutzerdefinierten Modellbereitstellung (Konsole)
**So löschen Sie eine benutzerdefinierte Modellbereitstellung**
1. Wählen Sie im Navigationsbereich unter **Inferenz und Bewertung** die Option **Benutzerdefiniertes On-Demand-Modell** aus.
1. Wählen Sie die benutzerdefinierte Modellbereitstellung aus, die Sie löschen möchten.
1. Wählen Sie **Löschen** aus.
1. Geben Sie in das Bestätigungsfeld den Bereitstellungsnamen ein, um das Löschen zu bestätigen.
1. Wählen Sie zur Bestätigung **Delete**.
Der Bereitstellungsstatus ändert sich während des Löschvorgangs zu `Deleting`. Nach Abschluss wird die Bereitstellung aus der Liste entfernt.
## Eine benutzerdefinierte Modellbereitstellung löschen (AWS Command Line Interface)
Um eine benutzerdefinierte Modellbereitstellung mithilfe von zu löschen AWS Command Line Interface, verwenden Sie den `delete-custom-model-deployment` Befehl mit Ihrer Bereitstellungs-ID.
```
aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region
```
## Löschen einer benutzerdefinierten Modellbereitstellung (AWS SDKs)
Um eine benutzerdefinierte Modellbereitstellung programmgesteuert zu löschen, verwenden Sie den [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) oder Namen der Bereitstellung. Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) einsetzen, um eine benutzerdefinierte Modellbereitstellung zu löschen.
```
def delete_custom_model_deployment(bedrock_client):
"""Delete a custom model deployment
Args:
bedrock_client: A boto3 Bedrock client for making API calls
Returns:
dict: The response from the delete operation
Raises:
Exception: If there is an error deleting the deployment
"""
try:
response = bedrock_client.delete_custom_model_deployment(
customModelDeploymentIdentifier="Deployment identifier"
)
print(f"Deployment deletion initiated")
return response
except Exception as e:
print(f"Error deleting deployment: {str(e)}")
raise
```