Implementa un modello personalizzato - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementa un modello personalizzato

Puoi implementare un modello personalizzato con la console Amazon Bedrock AWS Command Line Interface, oppure. AWS SDKs Per informazioni sull'utilizzo della distribuzione per l'inferenza, consulta. Usa una distribuzione per l'inferenza su richiesta

Implementa un modello personalizzato (console)

È possibile distribuire un modello personalizzato dalla pagina Modelli personalizzati come segue. È inoltre possibile distribuire un modello dalla pagina Custom model on-demand con gli stessi campi. Per trovare questa pagina, in Infer nel pannello di navigazione, scegli Modello personalizzato su richiesta.

Per distribuire un modello personalizzato
  1. Accedi a AWS Management Console con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock/.

  2. Dal riquadro di navigazione a sinistra, scegli Modelli personalizzati in Modelli Foundation.

  3. Nella scheda Modelli, scegli il pulsante di opzione relativo al modello che desideri distribuire.

  4. Scegli Imposta inferenza e scegli Deploy for on-demand.

  5. Nei dettagli della distribuzione, fornisci le seguenti informazioni:

    • Nome di distribuzione (obbligatorio): inserisci un nome univoco per la distribuzione.

    • Descrizione (opzionale): immetti una descrizione per la distribuzione.

    • Tag (opzionale): aggiungi tag per l'allocazione dei costi e la gestione delle risorse.

  6. Scegli Create (Crea). Quando lo stato della distribuzione è impostatoActive, il modello personalizzato è pronto per l'inferenza su richiesta. Per ulteriori informazioni sull'utilizzo del modello personalizzato, consulta. Usa una distribuzione per l'inferenza su richiesta

Distribuire un modello personalizzato ()AWS Command Line Interface

Per distribuire un modello personalizzato per l'inferenza su richiesta utilizzando il AWS Command Line Interface, usa il create-custom-model-deployment comando con Amazon Resource Name (ARN) del tuo modello personalizzato. Questo comando utilizza l'operazione API. CreateCustomModelDeployment La risposta include l'ARN della distribuzione. Quando la distribuzione è attiva, si utilizza questo ARN per effettuare richieste di modelId inferenza. Per informazioni sull'utilizzo della distribuzione per l'inferenza, vedere. Usa una distribuzione per l'inferenza su richiesta

aws bedrock create-custom-model-deployment \ --model-deployment-name "Unique name" \ --model-arn "Custom Model ARN" \ --description "Deployment description" \ --tags '[ { "key": "Environment", "value": "Production" }, { "key": "Team", "value": "ML-Engineering" }, { "key": "Project", "value": "CustomerSupport" } ]' \ --client-request-token "unique-deployment-token" \ --region region

Distribuisci un modello personalizzato ()AWS SDKs

Per implementare un modello personalizzato per l'inferenza su richiesta, utilizza l'operazione CreateCustomModelDeploymentAPI con Amazon Resource Name (ARN) del tuo modello personalizzato. La risposta include l'ARN della distribuzione. Quando la distribuzione è attiva, si utilizza questo ARN per effettuare richieste di modelId inferenza. Per informazioni sull'utilizzo della distribuzione per l'inferenza, vedere. Usa una distribuzione per l'inferenza su richiesta

Il codice seguente mostra come utilizzare l'SDK for Python (Boto3) per distribuire un modello personalizzato.

def create_custom_model_deployment(bedrock_client): """Create a custom model deployment Args: bedrock_client: A boto3 Amazon Bedrock client for making API calls Returns: str: The ARN of the new custom model deployment Raises: Exception: If there is an error creating the deployment """ try: response = bedrock_client.create_custom_model_deployment( modelDeploymentName="Unique deployment name", modelArn="Custom Model ARN", description="Deployment description", tags=[ {'key': 'Environment', 'value': 'Production'}, {'key': 'Team', 'value': 'ML-Engineering'}, {'key': 'Project', 'value': 'CustomerSupport'} ], clientRequestToken=f"deployment-{uuid.uuid4()}" ) deployment_arn = response['customModelDeploymentArn'] print(f"Deployment created: {deployment_arn}") return deployment_arn except Exception as e: print(f"Error creating deployment: {str(e)}") raise