Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa un profilo di inferenza nell'invocazione del modello
È possibile utilizzare un profilo di inferenza interregionale al posto di un modello di base per indirizzare le richieste a più regioni. Per tenere traccia dei costi e dell'utilizzo di un modello, in una o più regioni, puoi utilizzare un profilo di inferenza dell'applicazione. Per imparare a utilizzare un profilo di inferenza durante l'esecuzione dell'inferenza del modello, scegliete la scheda relativa al metodo preferito, quindi seguite i passaggi:
- Console
-
Per utilizzare un profilo di inferenza con una funzionalità che lo supporti, procedi come segue:
-
Accedi a AWS Management Console con un responsabile IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock/
. -
Vai alla pagina della funzionalità per cui desideri utilizzare un profilo di inferenza. Ad esempio, seleziona Chat/Text playground dal riquadro di navigazione a sinistra.
-
Scegli Seleziona modello, quindi scegli il modello. Ad esempio, scegli Amazon e poi Nova Premier.
-
In Inferenza, seleziona Profili di inferenza dal menu a discesa.
-
Seleziona il profilo di inferenza da utilizzare (ad esempio, US Nova Premier), quindi scegli Applica.
-
- API
-
È possibile utilizzare un profilo di inferenza quando si esegue l'inferenza da qualsiasi regione inclusa in esso con le seguenti operazioni API:
-
InvokeModeloppure InvokeModelWithResponseStream— Per utilizzare un profilo di inferenza nell'invocazione del modello, segui i passaggi indicati Invia una sola richiesta con InvokeModel e specifica l'Amazon Resource Name (ARN) del profilo di inferenza nel campo.
modelIdPer un esempio, consulta Utilizzare un profilo di inferenza nell'invocazione del modello. -
Converse o ConverseStream— Per utilizzare un profilo di inferenza nell'invocazione del modello con l'ConverseAPI, segui i passaggi indicati e Effettua una conversazione con le operazioni dell'ConverseAPI specifica l'ARN del profilo di inferenza nel campo.
modelIdPer un esempio, consulta Utilizzare un profilo di inferenza in una conversazione. -
RetrieveAndGenerate— Per utilizzare un profilo di inferenza durante la generazione di risposte dai risultati dell'interrogazione di una knowledge base, segui i passaggi nella scheda API Metti alla prova la tua base di conoscenze con domande e risposte e specifica l'ARN del profilo di inferenza nel campo.
modelArnPer ulteriori informazioni, consulta Utilizzare un profilo di inferenza per generare una risposta. -
CreateEvaluationJob— Per inviare un profilo di inferenza per la valutazione del modello, segui i passaggi nella scheda API Avvio di un processo di valutazione automatica del modello in Amazon Bedrock e specifica l'ARN del profilo di inferenza nel campo.
modelIdentifier -
CreatePrompt— Per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt creato in Gestione dei prompt, segui i passaggi nella scheda API Creare un prompt utilizzando la gestione dei prompt e specifica l'ARN del profilo di inferenza nel campo.
modelId -
CreateFlow— Per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt in linea definito all'interno di un nodo di prompt in un flusso, segui i passaggi nella scheda API in. Crea e progetta un flusso in Amazon Bedrock Nella definizione del nodo prompt, specificare l'ARN del profilo di inferenza nel campo.
modelId -
CreateDataSource— Per utilizzare un profilo di inferenza durante l'analisi di informazioni non testuali in un'origine dati, segui i passaggi nella sezione API e Opzioni di analisi per la tua fonte di dati specifica l'ARN del profilo di inferenza nel campo.
modelArn
Nota
Se si utilizza un profilo di inferenza interregionale (definito dal sistema), è possibile utilizzare l'ARN o l'ID del profilo di inferenza.
-
