Implementar um modelo personalizado para inferência sob demanda

Você implanta um modelo personalizado na página Modelos personalizados como se segue. Você também pode implantar um modelo na página Modelo personalizado sob demanda com os mesmos campos. Para encontrar essa página, em Inferência, no painel de navegação, escolha Modelo personalizado sob demanda.

Para implantar um modelo personalizado para inferência sob demanda usando o AWS Command Line Interface, use o create-custom-model-deployment comando com o Amazon Resource Name (ARN) do seu modelo personalizado. Esse comando usa a operação da API CreateCustomModelDeployment. A resposta inclui o ARN da implantação. Quando a implantação está ativa, você usa esse ARN como o modelId ao fazer solicitações de inferência. Para ter informações sobre como usar a implantação para inferência, consulte Usar uma implantação para inferência sob demanda.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Para implantar um modelo personalizado para inferência sob demanda, use a operação de CreateCustomModelDeploymentAPI com o Amazon Resource Name (ARN) do seu modelo personalizado. A resposta inclui o ARN da implantação. Quando a implantação está ativa, você usa esse ARN como o modelId ao fazer solicitações de inferência. Para ter informações sobre como usar a implantação para inferência, consulte Usar uma implantação para inferência sob demanda.

O código a seguir mostra como usar o SDK para Python (Boto3) para implantar um modelo personalizado.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise

Para excluir uma implantação de modelo personalizado usando o AWS Command Line Interface, use o delete-custom-model-deployment comando com seu identificador de implantação. Esse comando usa a operação da API DeleteCustomModelDeployment.

aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region

Para excluir programaticamente uma implantação de modelo personalizado, use a operação de DeleteCustomModelDeploymentAPI com o Amazon Resource Name (ARN) ou nome da implantação. O código a seguir mostra como usar o SDK para Python (Boto3) para excluir uma implantação de modelo personalizado.

def delete_custom_model_deployment(bedrock_client):
    """Delete a custom model deployment

    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        dict: The response from the delete operation

    Raises:
        Exception: If there is an error deleting the deployment
    """

    try:
        response = bedrock_client.delete_custom_model_deployment(
            customModelDeploymentIdentifier="Deployment identifier"
        )

        print("Deleting deployment...")
        return response

    except Exception as e:
        print(f"Error deleting deployment: {str(e)}")
        raise