Implementazione di un modello personalizzato - Amazon Bedrock
Implementare un modello personalizzato (console)Implementazione di un modello personalizzato (AWS Command Line Interface)Implementazione di un modello personalizzato (AWSSDKs)

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione di un modello personalizzato

Puoi implementare un modello personalizzato con la console Amazon Bedrock oppureAWS Command Line Interface. AWS SDKs Per informazioni sull’utilizzo dell’implementazione per l’inferenza, consulta Utilizzo di un’implementazione per l’inferenza on demand.

Implementare un modello personalizzato (console)

Puoi implementare un modello personalizzato dalla pagina Modelli personalizzati come segue. Puoi anche implementare un modello dalla pagina Modello personalizzato su richiesta con gli stessi campi. Per trovare questa pagina, da Infer nel riquadro di navigazione, scegli Modello personalizzato su richiesta.

Come implementare un modello personalizzato

  1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

  2. Nel riquadro di navigazione a sinistra, scegli Modelli personalizzati in Ottimizza.

  3. Nella scheda Modelli, seleziona il pulsante di opzione relativo al modello che vuoi implementare.

  4. Seleziona Imposta inferenza e scegli Implementa per on demand.

  5. In Dettagli implementazione, fornisci le seguenti informazioni:

    • Nome implementazione (obbligatorio): immetti un nome univoco per l’implementazione.

    • Descrizione (facoltativo): inserisci una descrizione per la tua implementazione.

    • Tag (facoltativo): aggiungi tag per l’allocazione dei costi e la gestione delle risorse.

  6. Seleziona Crea. Quando lo stato dell’implementazione è Active, il modello personalizzato è pronto per l’inferenza on demand. Per ulteriori informazioni sui tipi di modello personalizzato, consulta Utilizzo di un’implementazione per l’inferenza on demand.

Implementazione di un modello personalizzato (AWS Command Line Interface)

Per distribuire un modello personalizzato per l'inferenza su richiesta utilizzando ilAWS Command Line Interface, usa il create-custom-model-deployment comando con Amazon Resource Name (ARN) del tuo modello personalizzato. Questo comando utilizza l'operazione API. CreateCustomModelDeployment La risposta include ARN dell’implementazione. Quando l’implementazione è attiva, utilizzi questo ARN come modelId per effettuare richieste di inferenza. Per informazioni sull’utilizzo dell’implementazione per l’inferenza, consulta Utilizzo di un’implementazione per l’inferenza on demand.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Implementazione di un modello personalizzato (AWSSDKs)

Per implementare un modello personalizzato per l'inferenza su richiesta, utilizza l'operazione CreateCustomModelDeploymentAPI con Amazon Resource Name (ARN) del tuo modello personalizzato. La risposta include ARN dell’implementazione. Quando l’implementazione è attiva, utilizzi questo ARN come modelId per effettuare richieste di inferenza. Per informazioni sull’utilizzo dell’implementazione per l’inferenza, consulta Utilizzo di un’implementazione per l’inferenza on demand.

Il seguente codice mostra come usare SDK per Python (Boto3) per implementare un modello personalizzato. 

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise