Implementazione di un modello personalizzato - Amazon Nova
Implementare un modello personalizzato (console)Implementazione di un modello personalizzato (AWS Command Line Interface)Implementazione di un modello personalizzato (SDK AWS)

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione di un modello personalizzato

Puoi implementare un modello personalizzato con la console Amazon Bedrock, AWS Command Line Interface o AWS SDK. Per informazioni sull’uso dell’implementazione per l’inferenza, consulta Use a deployment for on-demand inference.

Implementare un modello personalizzato (console)

Puoi implementare un modello personalizzato dalla pagina Modelli personalizzati come segue. Puoi anche implementare un modello dalla pagina Modello personalizzato on demand con gli stessi campi. Per trovare questa pagina, in Inferenza e valutazione nel pannello di navigazione, seleziona Modello personalizzato on demand.

Per l’implementazione di un modello personalizzato

  1. Accedi alla Console di gestione AWS utilizzando un ruolo IAM con autorizzazioni per Amazon Bedrock e apri la console Amazon Bedrock all’indirizzo https://console.aws.amazon.com/nova/.

  2. Dal riquadro di navigazione a sinistra, scegli Modelli personalizzati in Modelli di fondazione.

  3. Nella scheda Modelli, seleziona il pulsante di opzione relativo al modello che vuoi implementare.

  4. Seleziona Imposta inferenza e scegli Implementa per on demand.

  5. In Dettagli implementazione, fornisci le seguenti informazioni:

    • Nome implementazione (obbligatorio): immetti un nome univoco per l’implementazione.

    • Descrizione (facoltativo): inserisci una descrizione per la tua implementazione.

    • Tag (facoltativo): aggiungi tag per l’allocazione dei costi e la gestione delle risorse.

  6. Seleziona Create (Crea). Quando lo stato è Completed, il modello personalizzato è pronto per l’inferenza on demand. Per ulteriori informazioni sull’uso del modello personalizzato, consulta Use a deployment for on-demand inference.

Implementazione di un modello personalizzato (AWS Command Line Interface)

Per implementare un modello personalizzato per l’inferenza on demand usando l'AWS Command Line Interface, usa il comando create-custom-model-deployment con il nome della risorsa Amazon (ARN) del tuo modello personalizzato. Questo comando sfrutta l’operazione API CreateCustomModelDeployment. Restituisce l’ARN dell’implementazione che è possibile usare come modelId quando si effettuano richieste di inferenza. Per informazioni sull’uso dell’implementazione per l’inferenza, consulta Use a deployment for on-demand inference.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Implementazione di un modello personalizzato (SDK AWS)

Per implementare un modello personalizzato per l’inferenza on demand, usa l’operazione API CreateCustomModelDeployment con il nome della risorsa Amazon (ARN) del tuo modello personalizzato. La risposta restituisce l’ARN dell’implementazione che è possibile usare come modelId quando si effettuano richieste di inferenza. Per informazioni sull’uso dell’implementazione per l’inferenza, consulta Use a deployment for on-demand inference.

Il seguente codice mostra come usare SDK per Python (Boto3) per implementare un modello personalizzato. 

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Bedrock client for making API calls
 
    Returns:
        str: The ARN of the created custom model deployment
 
    Raises:
        Exception: If there is an error creating the deployment
    """
 
    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )
 
        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn
 
    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise