Implementazione di un modello personalizzato per l’inferenza on demand - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione di un modello personalizzato per l’inferenza on demand

Dopo aver creato un modello personalizzato con un processo di personalizzazione del modello o importato un modello Amazon Nova personalizzato addestrato da SageMaker AI, puoi configurare l’inferenza on demand per il modello. Con l’inferenza on demand, paghi solo per ciò che usi e non devi configurare risorse di calcolo allocate.

Per configurare l’inferenza on demand per un modello personalizzato, devi innanzitutto implementare il modello. Una volta completata questa operazione, puoi utilizzare il nome della risorsa Amazon (ARN) dell’implementazione come parametro modelId durante l’invio di prompt e la generazione di risposte con inferenza del modello.

Per ulteriori informazioni, consulta la pagina Prezzi di Amazon Bedrock. Puoi implementare un modello personalizzato per un’inferenza on demand nelle seguenti Regioni (per ulteriori informazioni sulle Regioni supportate da Amazon Bedrock, consulta Endpoint e quote di Amazon Bedrock):

  • Stati Uniti orientali (Virginia settentrionale)

  • Stati Uniti occidentali (Oregon)

Modelli base supportati

Puoi configurare l’inferenza on demand per i seguenti modelli base:

  • Amazon Nova Lite

  • Amazon Nova Micro

  • Amazon Nova Pro

  • Meta Llama 3.3 70B Instruct