Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usa un profilo di inferenza nell'invocazione del modello
È possibile utilizzare un profilo di inferenza interregionale al posto di un modello di base per indirizzare le richieste a più regioni. Per tenere traccia dei costi e dell'utilizzo di un modello, in una o più regioni, puoi utilizzare un profilo di inferenza dell'applicazione. Per imparare a utilizzare un profilo di inferenza durante l'esecuzione dell'inferenza del modello, scegliete la scheda relativa al metodo preferito, quindi seguite i passaggi:
- Console
-
Nella console, l'unico profilo di inferenza che puoi utilizzare è il profilo di Anthropic Claude 3 Opus inferenza degli Stati Uniti nella regione Stati Uniti orientali (Virginia settentrionale).
Per utilizzare questo profilo di inferenza, passa alla regione Stati Uniti orientali (Virginia settentrionale). Effettuate una delle seguenti operazioni e selezionate il Anthropic Claude 3 Opus modello e l'inferenza tra regioni come Throughput quando raggiungete la fase di selezione di un modello:
-
Per utilizzare il profilo di inferenza nel campo di generazione del testo, seguite i passaggi riportati in. Genera risposte nella console utilizzando i parchi giochi
-
Per utilizzare il profilo di inferenza nella valutazione del modello, segui i passaggi della console riportati in. Avvio di un processo di valutazione automatica del modello in Amazon Bedrock
-
- API
-
È possibile utilizzare un profilo di inferenza quando si esegue l'inferenza da qualsiasi regione inclusa in esso con le seguenti operazioni API:
-
InvokeModeloppure InvokeModelWithResponseStream— Per utilizzare un profilo di inferenza nell'invocazione del modello, segui i passaggi indicati Invia una sola richiesta con InvokeModel e specifica l'Amazon Resource Name (ARN) del profilo di inferenza nel campo.
modelIdPer un esempio, consulta Utilizzare un profilo di inferenza nell'invocazione del modello. -
Converse o ConverseStream— Per utilizzare un profilo di inferenza nell'invocazione del modello con l'ConverseAPI, segui i passaggi indicati e Effettua una conversazione con le operazioni dell'ConverseAPI specifica l'ARN del profilo di inferenza nel campo.
modelIdPer un esempio, consulta Utilizzare un profilo di inferenza in una conversazione. -
RetrieveAndGenerate— Per utilizzare un profilo di inferenza durante la generazione di risposte dai risultati dell'interrogazione di una knowledge base, segui i passaggi nella scheda API Metti alla prova la tua base di conoscenze con domande e risposte e specifica l'ARN del profilo di inferenza nel campo.
modelArnPer ulteriori informazioni, consulta Utilizzare un profilo di inferenza per generare una risposta. -
CreateEvaluationJob— Per inviare un profilo di inferenza per la valutazione del modello, segui i passaggi nella scheda API Avvio di un processo di valutazione automatica del modello in Amazon Bedrock e specifica l'ARN del profilo di inferenza nel campo.
modelIdentifier -
CreatePrompt— Per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt creato in Gestione dei prompt, segui i passaggi nella scheda API Creare un prompt utilizzando la gestione dei prompt e specifica l'ARN del profilo di inferenza nel campo.
modelId -
CreateFlow— Per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt in linea definito all'interno di un nodo di prompt in un flusso, segui i passaggi nella scheda API in. Crea e progetta un flusso in Amazon Bedrock Nella definizione del nodo prompt, specificare l'ARN del profilo di inferenza nel campo.
modelId -
CreateDataSource— Per utilizzare un profilo di inferenza durante l'analisi di informazioni non testuali in un'origine dati, segui i passaggi nella sezione API e Opzioni di analisi per la tua fonte di dati specifica l'ARN del profilo di inferenza nel campo.
modelArn
Nota
Se si utilizza un profilo di inferenza interregionale (definito dal sistema), è possibile utilizzare l'ARN o l'ID del profilo di inferenza.
-
