Déployer un modèle personnalisé

Vous pouvez déployer un modèle personnalisé à l’aide de la console Amazon Bedrock, de l’AWS Command Line Interface ou des kits SDK AWS. Pour plus d’informations sur l’utilisation du déploiement pour l’inférence, consultez Utiliser un déploiement pour l’inférence à la demande.

Déployer un modèle personnalisé (console)

Vous déployez un modèle personnalisé à partir de la page Modèles personnalisés comme suit. Vous pouvez également déployer un modèle à partir de la page Modèle personnalisé à la demande avec les mêmes champs. Pour trouver cette page, dans Inférence et évaluation dans le panneau de navigation, sélectionnez Modèle personnalisé à la demande.

Déployer un modèle personnalisé (AWS Command Line Interface)

Pour déployer un modèle personnalisé pour l’inférence à la demande à l’aide de l’AWS Command Line Interface, utilisez la commande create-custom-model-deployment avec le nom de ressource Amazon Resource Name (ARN) de votre modèle personnalisé. Cette commande utilise l’opération API CreateCustomModelDeployment. Elle renvoie l’ARN du déploiement que vous pouvez utiliser comme modelId lorsque vous effectuez des demandes d’inférence. Pour plus d’informations sur l’utilisation du déploiement pour l’inférence, consultez Utiliser un déploiement pour l’inférence à la demande.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Déployer un modèle personnalisé (kits SDK AWS)

Pour déployer un modèle personnalisé pour l’inférence à la demande, utilisez l’opération API CreateCustomModelDeployment avec le nom de ressource Amazon Resource Name (ARN) de votre modèle personnalisé. La réponse renvoie l’ARN du déploiement que vous pouvez utiliser comme modelId lors des demandes d’inférence. Pour plus d’informations sur l’utilisation du déploiement pour l’inférence, consultez Utiliser un déploiement pour l’inférence à la demande.

Le code suivant montre comment utiliser le kit SDK pour Python (Boto3) afin de déployer un modèle personnalisé.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Bedrock client for making API calls
 
    Returns:
        str: The ARN of the created custom model deployment
 
    Raises:
        Exception: If there is an error creating the deployment
    """
 
    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )
 
        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn
 
    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise