Implementazione di un modello personalizzato per l’inferenza on demand

Puoi implementare un modello personalizzato dalla pagina Modelli personalizzati come segue. Puoi anche implementare un modello dalla pagina Modello personalizzato su richiesta con gli stessi campi. Per trovare questa pagina, da Infer nel riquadro di navigazione, scegli Modello personalizzato su richiesta.

Per distribuire un modello personalizzato per l'inferenza su richiesta utilizzando il AWS Command Line Interface, usa il create-custom-model-deployment comando con Amazon Resource Name (ARN) del tuo modello personalizzato. Questo comando utilizza l'operazione API. CreateCustomModelDeployment La risposta include ARN dell’implementazione. Quando l’implementazione è attiva, utilizzi questo ARN come modelId per effettuare richieste di inferenza. Per informazioni sull’utilizzo dell’implementazione per l’inferenza, consulta Utilizzo di un’implementazione per l’inferenza on demand.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Per implementare un modello personalizzato per l'inferenza su richiesta, utilizza l'operazione CreateCustomModelDeploymentAPI con Amazon Resource Name (ARN) del tuo modello personalizzato. La risposta include ARN dell’implementazione. Quando l’implementazione è attiva, utilizzi questo ARN come modelId per effettuare richieste di inferenza. Per informazioni sull’utilizzo dell’implementazione per l’inferenza, consulta Utilizzo di un’implementazione per l’inferenza on demand.

Il seguente codice mostra come usare SDK per Python (Boto3) per implementare un modello personalizzato.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise

Per eliminare una distribuzione di un modello personalizzato utilizzando il AWS Command Line Interface, utilizza il delete-custom-model-deployment comando con il tuo identificatore di distribuzione. Questo comando utilizza l'operazione DeleteCustomModelDeploymentAPI.

aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region

Per eliminare un modello di distribuzione personalizzato a livello di codice, utilizza l'operazione DeleteCustomModelDeploymentAPI con l'Amazon Resource Name (ARN) o il nome della distribuzione. Il seguente codice mostra come utilizzare l’SDK per Python (Boto3) per eliminare l’implementazione di un modello personalizzato.

def delete_custom_model_deployment(bedrock_client):
    """Delete a custom model deployment

    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        dict: The response from the delete operation

    Raises:
        Exception: If there is an error deleting the deployment
    """

    try:
        response = bedrock_client.delete_custom_model_deployment(
            customModelDeploymentIdentifier="Deployment identifier"
        )

        print("Deleting deployment...")
        return response

    except Exception as e:
        print(f"Error deleting deployment: {str(e)}")
        raise