Generare risposte nella console utilizzando i playground

Come utilizzare un playground

1. Se non l’hai già fatto, richiedi l’accesso ai modelli che desideri utilizzare. Per ulteriori informazioni, consulta Accesso ai modelli di fondazione Amazon Bedrock.

2. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

3. Dal riquadro di navigazione, in Spazio di sviluppo, seleziona Chat/testo o Immagine.

4. Se ti trovi nel playground Chat/testo, seleziona una Modalità.

5. Scegli Seleziona modello e seleziona un provider, un modello e uno throughput da utilizzare. Per ulteriori informazioni su come aumentare lo throughput, consulta Aumentare il throughput con l’inferenza tra Regioni e Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock.

6. Invia le seguenti informazioni per generare una risposta:

   • Prompt: una o più frasi di testo che configurano uno scenario, una domanda o un’attività per un modello. Per informazioni sulla creazione di prompt, consulta Concetti di progettazione dei prompt.

     Se utilizzi la modalità chat del chat/text parco giochi, alcuni modelli (fai riferimento aModelli e funzionalità del modello supportati) ti consentono di includere un file nei seguenti modi:

     • Seleziona l’icona dell’allegato e scegli un file da caricare.

     • Seleziona l’icona dell’allegato e scegli un oggetto Amazon S3 da caricare.

     • Trascina un file sul prompt.

     Includi file per completare il prompt. Puoi fare riferimento al file nel testo del prompt. Ad esempio, puoi scrivere Summarize this document for me o Tell me what's in this image. Puoi includere i seguenti tipi di file:

     • Documenti: aggiungi documenti per completare il prompt. Per un elenco dei tipi di file supportati, consulta il format campo in DocumentBlock.

       avvertimento

       I nomi dei documenti sono vulnerabili alle iniezioni di prompt, poiché il modello potrebbe inavvertitamente interpretarli come istruzioni. Pertanto, consigliamo di specificare un nome neutro.

     • Immagini: aggiungi immagini per completare il prompt, se il modello supporta input di immagini e testo multimodali. Per un elenco dei tipi di file supportati, consulta il format campo in ImageBlock.

     • Video: aggiungi video per completare il prompt, se il modello supporta input di video multimodali. Per un elenco dei tipi di file supportati, consulta il format campo in VideoBlock.

   • Configurazioni: impostazioni per modificare la risposta del modello. Le configurazioni sono:

     • Parametri di inferenza: valori che influiscono o limitano il modo in cui il modello genera la risposta. Per ulteriori informazioni, consulta Influenza sulla generazione della risposta con i parametri di inferenza. Per visualizzare i parametri di inferenza per modelli specifici, fai riferimento a. Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione

     • Prompt di sistema: prompt che forniscono al modello istruzioni o contesto sull’attività che deve eseguire o sull’utente tipo che dovrebbe adottarlo durante la conversazione. Questi sono disponibili solo nella modalità chat del chat/text parco giochi. Per ulteriori informazioni e un elenco di modelli che supportano i prompt di sistema, consulta Avvio di una conversazione con le operazioni dell’API Converse.

     • Guardrail: filtra i contenuti dannosi o indesiderati nei prompt e nelle risposte dei modelli. Per ulteriori informazioni, consulta Rilevare e filtrare contenuti dannosi utilizzando Guardrail per Amazon Bedrock.

7. (Facoltativo) Se un modello supporta lo streaming, il comportamento predefinito nel chat/text playground è lo streaming delle risposte. Puoi disattivare lo streaming scegliendo l’icona delle opzioni ( ) e modificando l’opzione Preferenza di streaming.

8. (Facoltativo) Nella modalità chat del chat/text parco giochi, puoi confrontare le risposte di diversi modelli effettuando le seguenti operazioni:

   1. Attiva Modalità di confronto.

   2. Scegli Seleziona modello e seleziona un provider, un modello e uno throughput da utilizzare.

   3. Scegli l’icona delle configurazioni ( ) per modificare le configurazioni da utilizzare.

   4. Per aggiungere altri modelli da confrontare, scegli l’icona + a destra, seleziona un modello e modifica le configurazioni in base alle tue esigenze.

9. (Facoltativo) Se un modello supporta il caching dei prompt, puoi aprire il riquadro Configurazioni e attivare Caching dei prompt per abilitare il caching degli input e delle risposte del modello al fine di ridurre costi e latenza. Per ulteriori informazioni, consulta Caching dei prompt per un’inferenza del modello più rapida.

10. Per eseguire il prompt, scegli Esegui. Amazon Bedrock non archivia il testo, le immagini o i documenti da te forniti. I dati vengono utilizzati solo per generare la risposta.

    Nota

    Se la risposta viola la policy di moderazione dei contenuti, Amazon Bedrock non la visualizza. Se hai attivato lo streaming, Amazon Bedrock cancella l’intera risposta se genera contenuti che violano la policy. Per ulteriori dettagli, accedi alla console Amazon Bedrock, seleziona Provider e leggi il testo nella sezione Limitazioni dei contenuti.

11. Il modello restituisce la risposta. Se utilizzi la modalità chat del chat/text parco giochi, puoi inviare una richiesta di risposta alla risposta e generare un'altra risposta.

12. Una volta generata una risposta, sono disponibili le seguenti opzioni:

    • Per esportare la risposta come file JSON, scegli l’icona delle opzioni ( ) e seleziona Esporta come JSON.

    • Per visualizzare la richiesta API che hai effettuato, scegli l’icona delle opzioni ( ) e seleziona Visualizza richiesta API.

    • Nella modalità chat del chat/text parco giochi, puoi visualizzare le metriche nella sezione Metriche del modello. Sono disponibili le seguenti metriche del modello:

      • Latenza: il tempo necessario tra la ricezione della richiesta da parte di Amazon Bedrock e la restituzione della risposta (per le risposte non in streaming) o il completamento dello streaming della risposta (per le risposte in streaming).

      • Numero di token di input: il numero di token che vengono inseriti nel modello come input durante l’inferenza.

      • Numero di token di output: il numero di token generati in risposta a un prompt. Le risposte più lunghe e più colloquiali richiedono più token.

      • Costo: il costo dell’elaborazione dell’input e della generazione dei token di output.

      Per impostare i criteri delle metriche che la risposta deve soddisfare, scegli Definisci criteri della metrica e definisci le condizioni che il modello deve soddisfare. Dopo aver applicato i criteri, la sezione Metriche del modello mostra quanti e quali sono i criteri soddisfatti dalla risposta.

      Se i criteri non sono soddisfatti, puoi scegliere un modello diverso, riscrivere il prompt o modificare le configurazioni ed eseguire nuovamente il prompt.