Déploiement d’un modèle personnalisé pour une inférence à la demande

Vous déployez un modèle personnalisé à partir de la page Modèles personnalisés comme suit. Vous pouvez également déployer un modèle à partir de la page Modèle personnalisé à la demande avec les mêmes champs. Pour accéder à cette page, sous Déduire dans le volet de navigation, sélectionnez Modèle personnalisé à la demande.

Pour déployer un modèle personnalisé à des fins d'inférence à la demande à l'aide de AWS Command Line Interface, utilisez la create-custom-model-deployment commande avec le Amazon Resource Name (ARN) de votre modèle personnalisé. Cette commande utilise l'opération CreateCustomModelDeploymentAPI. La réponse comprend l’ARN du déploiement. Lorsque le déploiement est actif, vous utilisez cet ARN comme modelId lorsque vous effectuez des demandes d’inférence. Pour plus d’informations sur l’utilisation du déploiement à des fins d’inférence, consultez Utiliser un déploiement pour l’inférence à la demande.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Pour déployer un modèle personnalisé à des fins d'inférence à la demande, utilisez l'opération d'CreateCustomModelDeploymentAPI avec le Amazon Resource Name (ARN) de votre modèle personnalisé. La réponse comprend l’ARN du déploiement. Lorsque le déploiement est actif, vous utilisez cet ARN comme modelId lorsque vous effectuez des demandes d’inférence. Pour plus d’informations sur l’utilisation du déploiement à des fins d’inférence, consultez Utiliser un déploiement pour l’inférence à la demande.

Le code suivant montre comment utiliser le kit SDK for Python (Boto3) pour déployer un modèle personnalisé.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise

Pour supprimer un déploiement de modèle personnalisé à l'aide du AWS Command Line Interface, utilisez la delete-custom-model-deployment commande avec votre identifiant de déploiement. Cette commande utilise l'opération DeleteCustomModelDeploymentAPI.

aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region

Pour supprimer un déploiement de modèle personnalisé par programmation, utilisez l'opération d'DeleteCustomModelDeploymentAPI avec le nom ou l'ARN (Amazon Resource Name) du déploiement. Le code suivant montre comment utiliser le kit SDK for Python (Boto3) pour supprimer un déploiement de modèle personnalisé.

def delete_custom_model_deployment(bedrock_client):
    """Delete a custom model deployment

    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        dict: The response from the delete operation

    Raises:
        Exception: If there is an error deleting the deployment
    """

    try:
        response = bedrock_client.delete_custom_model_deployment(
            customModelDeploymentIdentifier="Deployment identifier"
        )

        print("Deleting deployment...")
        return response

    except Exception as e:
        print(f"Error deleting deployment: {str(e)}")
        raise