Comprendere il routing di prompt intelligente in Amazon Bedrock
Amazon Bedrock Intelligent Prompt Routing fornisce un unico endpoint serverless per eseguire il routing delle richieste in modo efficiente tra diversi modelli di fondazione nella stessa famiglia di modelli. Può prevedere dinamicamente la qualità della risposta di ogni modello per ogni richiesta e poi instradare la richiesta al modello con la migliore qualità di risposta. In questo modo consente di ottimizzare sia la qualità della risposta che i costi.
Argomenti
Regioni e modelli supportati per il routing di prompt intelligente
Il routing di prompt intelligente è supportato dai seguenti modelli:
| Provider | Modello | Regioni che supportano il modello di fondazione | Regioni che supportano il profilo di inferenza |
|---|---|---|---|
| Amazon | Nova Lite |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Amazon | Nova Pro |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Haiku |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Anthropic | Claude 3.5 Sonnet |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 eu-central-1 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Sonnet v2 |
us-west-2 ap-southeast-2 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-south-1 ap-southeast-2 eu-west-3 |
| Anthropic | Claude 3 Haiku |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Meta | Llama 3.1 70B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.1 8B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 11B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 90B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.3 70B Instruct |
us-east-2 |
us-east-1 us-east-2 us-west-2 |
Vantaggi
-
Qualità e costi di risposta ottimizzati: indirizza i prompt a diversi modelli di fondazione per ottenere la migliore qualità di risposta al minor costo.
-
Gestione semplificata: elimina la necessità di una logica di orchestrazione complessa.
-
A prova di futuro: incorpora nuovi modelli non appena diventano disponibili.
Router di prompt predefiniti e configurati
Quando si utilizza il routing di prompt intelligente, è possibile utilizzare i router prompt predefiniti forniti da Amazon Bedrock o configurare i tuoi router di prompt.
I router di prompt predefiniti sono sistemi di routing preconfigurati forniti da Amazon Bedrock. Questi router sono dotati di impostazioni predefinite e sono progettati per funzionare immediatamente con modelli di fondazione specifici. Forniscono una soluzione semplice e pronta all’uso senza la necessità di configurare le impostazioni di routing. Quando si inizia a utilizzare il routing di prompt intelligente, consigliamo di provare a utilizzare i router predefiniti forniti da Amazon Bedrock. Durante l’anteprima, è possibile scegliere di utilizzare modelli selezionati delle famiglie Anthropic e Meta.
I router di prompt configurati consentono di definire configurazioni di routing personalizzate in base a esigenze e preferenze specifiche. Sono più adatti quando è necessario un maggiore controllo sui criteri di routing e sui modelli da utilizzare. I router configurati consentono l’ottimizzazione in base alle metriche di qualità della risposta e ai casi d’uso. Dopo aver provato i router predefiniti, è possibile configurare router personalizzati adatti alle proprie applicazioni, valutare la qualità della risposta nel playground e utilizzarli per applicazioni di produzione se soddisfano i requisiti.
Considerazioni e limitazioni
Di seguito sono riportate alcune considerazioni e limitazioni per il routing di prompt intelligente in Amazon Bedrock.
-
Il routing di prompt intelligente è ottimizzato solo per i prompt in inglese.
-
Il routing di prompt intelligente non è in grado di regolare le decisioni o le risposte di routing in base a dati sulle prestazioni specifici dell’applicazione.
-
Il routing di prompt intelligente potrebbe non fornire sempre il routing più ottimale per casi d’uso unici o specializzati. L’efficacia del routing dipende dai dati di addestramento iniziali.
Criteri del router di prompt e modello di fallback
Quando si configurano i router di prompt, è possibile specificare i criteri di routing, utilizzati per determinare quale modello selezionare per l’elaborazione di una richiesta in base alla differenza di qualità della risposta. Utilizzare questi criteri per determinare in che misura le risposte del modello di fallback devono avvicinarsi alle risposte fornite dagli altri modelli.
Modelli di fallback
Scegliere un modello di fallback che funzioni bene per le richieste. Questo modello funge da base affidabile. Poi è possibile scegliere un altro modello per migliorare la precisione o ridurre i costi rispetto al modello di fallback. Il modello di fallback funge da ancoraggio e i criteri di routing stabiliscono quando passare all’altro modello in base alla differenza di qualità della risposta.
Differenza di qualità della risposta
La differenza di qualità della risposta misura la disparità tra le risposte del modello di fallback e gli altri modelli. Un valore inferiore indica che le risposte sono simili. Un valore più alto indica una differenza significativa nelle risposte tra il modello di fallback e gli altri modelli.
Ad esempio, una differenza di qualità della risposta del 10% significa che, ad esempio, la qualità della risposta del modello di fallback, Claude Haiku3, è del 10%, quindi il router passerà a un altro modello, ad esempio Claude Sonnet3, solo se le sue risposte sono migliori del 10% rispetto alle risposte di Claude Haiku3.
Come funziona il routing di prompt intelligente
-
Selezione del modello e configurazione del router
Scegliere la famiglia di modelli che si desidera utilizzare per l’applicazione. Se si utilizzano router di prompt predefiniti, è possibile scegliere tra modelli delle famiglie Anthropic o Meta. Se si utilizzano router di prompt configurati, è possibile scegliere tra modelli aggiuntivi e configurare i criteri di routing. Per ulteriori informazioni, consulta Come utilizzare il routing di prompt intelligente.
-
Analisi delle richieste in entrata
Per ogni richiesta in entrata, il sistema analizza il prompt per comprenderne il contenuto e il contesto.
-
Previsione della qualità della risposta
Amazon Bedrock prevede la qualità di risposta di ogni modello specificato nella famiglia scelta in base al prompt. Se configurato, il router di prompt tiene conto dei criteri di routing, ossia della differenza di qualità della risposta, e indirizza le richieste al modello di fallback specificato se i criteri non sono soddisfatti.
-
Selezione del modello e inoltro delle richieste
In base alla previsione della qualità della risposta, Amazon Bedrock sceglie dinamicamente il modello che offre la migliore combinazione di qualità di risposta e costo per la richiesta specifica. La richiesta viene quindi inoltrata al modello scelto per l’elaborazione.
-
Gestione delle risposte
La risposta del modello scelto viene recuperata e restituita all’utente. La risposta include informazioni sul modello utilizzato per elaborare la richiesta.
Come utilizzare il routing di prompt intelligente
Per iniziare a utilizzare il routing di prompt intelligente, utilizzare la console Amazon Bedrock, AWS CLI o l’SDK AWS.
Nota
Per utilizzare al meglio il routing di prompt intelligente, sarebbe necessario controllare regolarmente le prestazioni per sfruttare i nuovi modelli. Per ottimizzare l’utilizzo, monitorare le metriche di prestazioni e costi disponibili.
Le seguenti sezioni illustrano come utilizzare questa funzionalità dalla console e dalla CLI. Dopo aver configurato il router di prompt, Amazon Bedrock esegue la procedura descritta in Come funziona il routing di prompt intelligente per generare una risposta da uno dei modelli del router scelto.
