Bereitstellen eines benutzerdefinierten Modells - Amazon Nova
Bereitstellen eines benutzerdefinierten Modells (Konsole)Bereitstellen eines benutzerdefinierten Modells (AWS Command Line Interface)Bereitstellen eines benutzerdefinierten Modells (AWS-SDKs)

Bereitstellen eines benutzerdefinierten Modells

Sie können ein benutzerdefiniertes Modell mit der Amazon-Bedrock-Konsole, der AWS Command Line Interface oder den AWS-SDKs bereitstellen. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter Verwenden einer Bereitstellung für die On-Demand-Inferenz.

Bereitstellen eines benutzerdefinierten Modells (Konsole)

Sie stellen ein benutzerdefiniertes Modell auf der Seite Benutzerdefinierte Modelle wie folgt bereit. Sie können ein Modell auch über die Seite Benutzerdefiniertes On-Demand-Modell mit denselben Feldern bereitstellen. Sie finden diese Seite, indem Sie im Navigationsbereich unter Inferenz und Bewertung die Option Benutzerdefiniertes On-Demand-Modell auswählen.

So stellen Sie ein benutzerdefinierten Modell bereit

  1. Melden Sie sich in der AWS-Managementkonsole mit einer IAM-Rolle mit Amazon-Bedrock-Berechtigungen an und öffnen Sie die Amazon-Bedrock-Konsole unter https://console.aws.amazon.com/nova/.

  2. Wählen Sie im linken Navigationsbereich unter Grundlagenmodelle die Option Benutzerdefinierte Modelle aus.

  3. Wählen Sie auf der Registerkarte Modelle das Optionsfeld für das Modell aus, das Sie bereitstellen möchten.

  4. Wählen Sie Inferenz einrichten und anschließend Auf Abruf bereitstellen aus.

  5. Geben Sie unter Einzelheiten zur Bereitstellung die folgenden Informationen an:

    • Name der Bereitstellung (Erforderlich) – Geben Sie einen eindeutigen Namen für die Bereitstellung ein.

    • Beschreibung (Optional) – Geben Sie eine Beschreibung der Bereitstellung ein.

    • Tags (Optional) – Fügen Sie Tags für die Kostenzuordnung und das Ressourcenmanagement hinzu.

  6. Wählen Sie Erstellen aus. Wenn der Status der Bereitstellung Completed lautet, ist das benutzerdefinierte Modell bereit für On-Demand-Inferenz. Weitere Informationen zur Verwendung des benutzerdefinierten Modells finden Sie unter Verwenden einer Bereitstellung für die On-Demand-Inferenz.

Bereitstellen eines benutzerdefinierten Modells (AWS Command Line Interface)

Um ein benutzerdefiniertes Modell für On-Demand-Inferenz mithilfe der AWS Command Line Interface bereitzustellen, verwenden Sie den Befehl create-custom-model-deployment mit dem Amazon-Ressourcennamen (ARN) des benutzerdefinierten Modells. Dieser Befehl nutzt den API-Vorgang CreateCustomModelDeployment. Gibt den ARN der Bereitstellung zurück, den Sie als modelId bei Inferenzanfragen verwenden können. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter Verwenden einer Bereitstellung für die On-Demand-Inferenz.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Bereitstellen eines benutzerdefinierten Modells (AWS-SDKs)

Um ein benutzerdefiniertes Modell für On-Demand-Inferenz bereitzustellen, verwenden Sie den API-Vorgang CreateCustomModelDeployment mit dem Amazon-Ressourcennamen (ARN) des benutzerdefinierten Modells. Die Antwort gibt den ARN der Bereitstellung zurück, den Sie als modelId bei Inferenzanfragen verwenden können. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter Verwenden einer Bereitstellung für die On-Demand-Inferenz.

Der folgende Code zeigt, wie Sie das SDK für Python (Boto3) verwenden, um ein benutzerdefiniertes Modell bereitzustellen. 

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Bedrock client for making API calls
 
    Returns:
        str: The ARN of the created custom model deployment
 
    Raises:
        Exception: If there is an error creating the deployment
    """
 
    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )
 
        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn
 
    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise