Utilizzo di uno strumento per completare una risposta al modello Amazon Bedrock - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo di uno strumento per completare una risposta al modello Amazon Bedrock

È possibile utilizzare l’API Amazon Bedrock per consentire a un modello di accedere a strumenti che possono aiutarlo a generare risposte ai messaggi inviati al modello. Ad esempio, un’applicazione di chat potrebbe consentire agli utenti di scoprire la canzone più popolare trasmessa da una stazione radio. Per rispondere a una richiesta per la canzone più popolare, un modello ha bisogno di uno strumento in grado di eseguire query e restituire le informazioni sul brano.

Nota

L’uso dello strumento con i modelli è noto anche come chiamata di funzione.

In Amazon Bedrock, il modello non chiama direttamente lo strumento. Piuttosto, quando si invia un messaggio a un modello, viene fornita anche una definizione per uno o più strumenti che potrebbero aiutare il modello a generare una risposta. In questo esempio, occorre fornire una definizione per uno strumento che restituisce la canzone più popolare per una stazione radio specificata. Se il modello determina che è necessario lo strumento per generare una risposta al messaggio, il modello risponde con una richiesta di chiamata dello strumento. Include anche i parametri di input (la stazione radio richiesta) da passare allo strumento.

Nel codice, lo strumento viene chiamato per conto del modello. In questo scenario, supponiamo che l’implementazione dello strumento sia un’API. Lo strumento potrebbe essere facilmente un database, una funzione Lambda o un altro tipo di software. È l’utente che decide come implementare lo strumento. Quindi si continua la conversazione con il modello fornendo un messaggio con il risultato ottenuto dallo strumento. Infine, il modello genera una risposta al messaggio originale che include i risultati dello strumento inviati al modello.

Per utilizzare gli strumenti con un modello puoi utilizzare l’API Converse (Converse o ConverseStream). Il codice di esempio riportato in questo argomento utilizza l’API Converse per mostrare come utilizzare uno strumento che rileva la canzone più popolare di una stazione radio. Per informazioni sulla chiamata dell’API Converse, consulta Avvio di una conversazione con le operazioni dell’API Converse.

È possibile utilizzare strumenti con le operazioni di inferenza di base (InvokeModel o InvokeModelWithResponseStream). Per trovare i parametri di inferenza passati nel corpo della richiesta, consulta i parametri di inferenza per il modello da utilizzare. Ti consigliamo di utilizzare l’API Converse in quanto fornisce un’API coerente, che funziona con tutti i modelli Amazon Bedrock che supportano l’uso degli strumenti.

Per informazioni sui modelli che supportano la chiamata agli strumenti, consulta Modelli e funzionalità del modello supportati.