Implementare un modello personalizzato per l’inferenza on demand

Dopo aver creato con successo un modello personalizzato con un processo di personalizzazione del modello (fine-tuning, distillazione o pre-addestramento continuativo), è possibile impostare l’inferenza on demand per il modello.

Per configurare l’inferenza on demand per un modello personalizzato, è necessario implementare il modello con un’implementazione di modelli personalizzati. Dopo aver implementato il modello personalizzato, usa il nome della risorsa Amazon (ARN) dell’implementazione come parametro modelId nelle operazioni API InvokeModel o Converse. Puoi usare il modello implementato per l’inferenza on demand con le funzionalità di Amazon Bedrock quali playground, agenti e basi di conoscenza.

Modelli supportati

Puoi configurare l’inferenza on demand per i seguenti modelli: