Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzare un profilo di inferenza nell’invocazione del modello
È possibile utilizzare un profilo di inferenza tra Regioni anziché un modello di fondazione per instradare le richieste a più Regioni. Per tenere traccia dei costi e dell’utilizzo di un modello in una o più Regioni, è possibile utilizzare un profilo di inferenza dell’applicazione. Per informazioni sull’utilizzo di un profilo di inferenza quando si esegue l’inferenza del modello, scegli la scheda relativa al metodo che preferisci, quindi segui la procedura:
- Console
-
Per utilizzare un profilo di inferenza con una funzionalità che lo supporti, esegui queste operazioni:
-
Accedi alla Console di gestione AWS con un’identità IAM che disponga delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all’indirizzo https://console.aws.amazon.com/bedrock
. -
Vai alla pagina della funzionalità per cui desideri utilizzare un profilo di inferenza. Ad esempio, seleziona Spazio di sviluppo per chat/testo nel riquadro di navigazione a sinistra.
-
Scegli Seleziona modello, quindi scegli il modello. Ad esempio, scegli Amazon, quindi Nova Premier.
-
In Inferenza, seleziona Profili di inferenza nel menu a discesa.
-
Seleziona il profilo di inferenza da utilizzare, ad esempio US Nova Premier, quindi scegli Applica.
-
- API
-
È possibile utilizzare un profilo di inferenza quando si esegue l’inferenza da qualsiasi Regione inclusa nel profilo stesso con le seguenti operazioni API:
-
InvokeModel o InvokeModelWithResponseStream: per utilizzare un profilo di inferenza nell’invocazione del modello, segui i passaggi indicati in Invia una sola richiesta con InvokeModel e specifica il nome della risorsa Amazon (ARN) del profilo di inferenza nel campo
modelId. Per un esempio, consulta Utilizzare un profilo di inferenza nell’invocazione del modello. -
Converse o ConverseStream: per utilizzare un profilo di inferenza nell’invocazione del modello con l’API Converse, segui i passaggi indicati in Avvio di una conversazione con le operazioni dell’API Converse e specifica l’ARN del profilo di inferenza nel campo
modelId. Per un esempio, consulta Utilizzare un profilo di inferenza in una conversazione. -
RetrieveAndGenerate: per utilizzare un profilo di inferenza durante la generazione di risposte dai risultati di query a una knowledge base, segui i passaggi indicati nella scheda API in Test della knowledge base con query e risposte e specifica l’ARN del profilo di inferenza nel campo
modelArn. Per ulteriori informazioni, consulta Utilizzare un profilo di inferenza per generare una risposta. -
CreateEvaluationJob: per inviare un profilo di inferenza per la valutazione del modello, segui i passaggi indicati nella scheda API in Avvio di un processo di valutazione automatica del modello in Amazon Bedrock e specifica l’ARN del profilo di inferenza nel campo
modelIdentifier. -
CreatePrompt: per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt creato in Gestione prompt, segui i passaggi indicati nella scheda API in Creare un prompt utilizzando Gestione prompt e specifica l’ARN del profilo di inferenza nel campo
modelId. -
CreateFlow: per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt in linea definito in un nodo prompt in un flusso, segui i passaggi indicati nella scheda API in Creare e progettare un flusso in Amazon Bedrock. Nella definizione del nodo prompt, specifica l’ARN del profilo di inferenza nel campo
modelId. -
CreateDataSource: per utilizzare un profilo di inferenza durante l’analisi di informazioni non di testo in un’origine dati, segui i passaggi indicati nella sezione API in Opzioni di analisi per l’origine dati e specifica l’ARN del profilo di inferenza nel campo
modelArn.
Nota
Se si utilizza un profilo di inferenza tra Regioni (definito dal sistema), è possibile utilizzare l’ARN o l’ID del profilo di inferenza stesso.
-
