Bereitstellen eines benutzerdefinierten Modells für On-Demand-Inferenz

Sie stellen ein benutzerdefiniertes Modell auf der Seite Benutzerdefinierte Modelle wie folgt bereit. Sie können ein Modell auch über die Benutzerdefiniertes On-Demand-Modell mit denselben Feldern bereitstellen. Diese Seite finden Sie, indem Sie im Navigationsbereich unter Inferieren die Option Benutzerdefiniertes On-Demand-Modell auswählen.

Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen mithilfe von bereitzustellen AWS Command Line Interface, verwenden Sie den create-custom-model-deployment Befehl mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Dieser Befehl verwendet die CreateCustomModelDeploymentAPI-Operation. Die Antwort enthält den ARN der Bereitstellung. Wenn die Bereitstellung aktiv ist, verwenden Sie diesen ARN als modelId beim Stellen von Inferenzanforderungen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter Verwenden einer Bereitstellung für die On-Demand-Inferenz.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen bereitzustellen, verwenden Sie den CreateCustomModelDeploymentAPI-Vorgang mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Die Antwort enthält den ARN der Bereitstellung. Wenn die Bereitstellung aktiv ist, verwenden Sie diesen ARN als modelId beim Stellen von Inferenzanforderungen. Informationen zur Verwendung der Bereitstellung für Inferenz finden Sie unter Verwenden einer Bereitstellung für die On-Demand-Inferenz.

Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) verwenden, um ein benutzerdefiniertes Modell bereitzustellen.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise

Um eine benutzerdefinierte Modellbereitstellung mithilfe von zu löschen AWS Command Line Interface, verwenden Sie den delete-custom-model-deployment Befehl mit Ihrer Bereitstellungs-ID. Dieser Befehl verwendet den DeleteCustomModelDeploymentAPI-Vorgang.

aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region

Um eine benutzerdefinierte Modellbereitstellung programmgesteuert zu löschen, verwenden Sie den DeleteCustomModelDeploymentAPI-Vorgang mit dem Amazon-Ressourcennamen (ARN) oder Namen der Bereitstellung. Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) einsetzen, um eine benutzerdefinierte Modellbereitstellung zu löschen.

def delete_custom_model_deployment(bedrock_client):
    """Delete a custom model deployment

    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        dict: The response from the delete operation

    Raises:
        Exception: If there is an error deleting the deployment
    """

    try:
        response = bedrock_client.delete_custom_model_deployment(
            customModelDeploymentIdentifier="Deployment identifier"
        )

        print("Deleting deployment...")
        return response

    except Exception as e:
        print(f"Error deleting deployment: {str(e)}")
        raise