Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configurare una risorsa di invocazione del modello utilizzando i profili di inferenza
Un profilo di inferenza è una risorsa di Amazon Bedrock che definisce un modello e una o più Regioni a cui il profilo di inferenza può instradare le richieste di invocazione del modello. I profili di inferenza possono essere utilizzati per le attività seguenti:
-
Monitoraggio dei parametri di utilizzo: configura i log di CloudWatch e invia richieste di invocazione del modello con un profilo di inferenza dell’applicazione per raccogliere i parametri di utilizzo per l’invocazione del modello. Questi parametri possono essere esaminati quando si visualizzano le informazioni sul profilo di inferenza e utilizzati per prendere decisioni informate. Per ulteriori informazioni sulla configurazione dei log di CloudWatch, consulta Monitora la chiamata del modello utilizzando CloudWatch Logs e Amazon S3.
-
Utilizzo dei tag per monitorare i costi: collega i tag a un profilo di inferenza dell’applicazione per tenere traccia dei costi quando si inviano richieste di invocazione del modello on demand. Per ulteriori informazioni sull’utilizzo dei tag per l’allocazione dei costi, consulta Organizzazione e monitoraggio dei costi utilizzando i tag di allocazione dei costi AWS nella Guida per l’utente di AWS Billing.
-
Uso dell’inferenza tra Regioni: aumenta il throughput utilizzando un profilo di inferenza che includa più Regioni AWS. Il profilo di inferenza distribuirà le richieste di invocazione del modello in tali Regioni per aumentare il throughput e le prestazioni. Per ulteriori informazioni sull’inferenza tra Regioni, consulta Aumentare il throughput con l’inferenza tra Regioni.
In Amazon Bedrock sono disponibili i tipi di profili di inferenza seguenti:
-
Profili di inferenza tra Regioni (definiti dal sistema): profili di inferenza predefiniti in Amazon Bedrock che includono più Regioni a cui è possibile instradare le richieste di un modello.
-
Profili di inferenza dell’applicazione: profili di inferenza che un utente crea per tenere traccia dei costi e dell’utilizzo del modello. È possibile creare un profilo di inferenza che instradi le richieste di invocazione del modello a una o più Regioni:
-
Per creare un profilo di inferenza che tenga traccia dei costi e dell’utilizzo di un modello in una Regione, specifica il modello di fondazione nella Regione verso cui desideri che il profilo di inferenza instradi le richieste.
-
Per creare un profilo di inferenza che tenga traccia dei costi e dell’utilizzo di un modello in più Regioni, specifica il profilo di inferenza tra Regioni (definito dal sistema) che definisce il modello e le Regioni verso cui desideri che il profilo di inferenza instradi le richieste.
-
È possibile utilizzare i profili di inferenza con le seguenti funzionalità per instradare le richieste a più Regioni e tenere traccia dell’utilizzo e dei costi delle richieste di invocazione effettuate con tali funzionalità:
-
Inferenza del modello: usa un profilo di inferenza quando si esegue l’invocazione del modello scegliendo un profilo di inferenza in un playground nella console Amazon Bedrock o specificando l’ARN del profilo di inferenza quando si chiamano le operazioni InvokeModel, InvokeModelWithResponseStream, Converse e ConverseStream operations. Per ulteriori informazioni, consulta Invio di prompt e generazione di risposte con l’inferenza del modello.
-
Embedding vettoriale della knowledge base e generazione di risposte: usa un profilo di inferenza quando si genera una risposta dopo aver eseguito una query su una knowledge base o durante l’analisi di informazioni non testuali in un’origine dati. Per ulteriori informazioni, consulta Test della knowledge base con query e risposte e Opzioni di analisi per l’origine dati.
-
Valutazione del modello: è possibile inviare un profilo di inferenza come modello da valutare quando si invia un processo di valutazione del modello. Per ulteriori informazioni, consulta Valutare le prestazioni delle risorse Amazon Bedrock.
-
Gestione dei prompt: è possibile utilizzare un profilo di inferenza per generare una risposta a un prompt creato in Gestione prompt. Per ulteriori informazioni, consulta . Creare e archiviare prompt riutilizzabili con Gestione dei prompt in Amazon Bedrock
-
Flussi: è possibile utilizzare un profilo di inferenza quando si genera una risposta per un prompt definito in linea in un nodo prompt in un flusso. Per ulteriori informazioni, consulta Creare un flusso di lavoro di IA generativa end-to-end con Amazon Bedrock Flows.
Il prezzo per l’utilizzo di un profilo di inferenza viene calcolato in base al prezzo del modello nella Regione da cui si chiama il profilo stesso. Per informazioni sui prezzi, consulta Prezzi di Amazon Bedrock
Per ulteriori informazioni sul throughput offerto da un profilo di inferenza tra Regioni, consulta Aumentare il throughput con l’inferenza tra Regioni.
Argomenti
