Casi d’uso per Guardrail per Amazon Bedrock
Dopo aver creato un guardrail, puoi applicarlo utilizzando le seguenti funzionalità:
-
Inferenza del modello: applica un guardrail ai prompt inviati e alle risposte generate durante l’esecuzione dell’inferenza su un modello.
-
Agenti: associa un guardrail a un agente per applicarlo ai prompt inviati all’agente e alle risposte restituite.
-
Knowledge base: applica un guardrail quando interroghi una knowledge base e generi risposte da essa.
-
Flusso: aggiungi un guardrail a un nodo del prompt o a un nodo della knowledge base in un flusso per applicarlo agli input e agli output di questi nodi.
La tabella seguente descrive come includere un guardrail per ciascuna di queste funzionalità utilizzando Console di gestione AWS o l’API Amazon Bedrock.
| Caso d’uso | Console | API |
|---|---|---|
| Inferenza del modello | Seleziona il guardrail quando utilizzi un playground. | Specificalo nell’intestazione di una richiesta InvokeModel o InvokeModelWithResponseStream oppure includilo nel campo guardrailConfig nel corpo di una richiesta Converse o ConverseStream. |
| Associa a un agente | Quando crei o aggiorni l’agente, specificalo nella sezione Dettagli guardrail di Agente Builder. | Includi un campo guardrailConfiguration nel corpo di una richiesta CreateAgent o UpdateAgent. |
| Utilizza durante la query di una knowledge base | Segui i passaggi indicati nella sezione Guardrail delle configurazioni della query. Aggiungi un guardrail quando imposti Configurazioni. | Includi un campo guardrailConfiguration nel corpo di una richiesta RetrieveAndGenerate. |
| Includi in un nodo del prompt di un flusso | Quando crei o aggiorni un flusso, seleziona il nodo del prompt e specifica il guardrail nella sezione Configura. | Quando definisci il nodo del prompt nel campo nodes in una richiesta CreateFlow o UpdateFlow, includi un campo guardrailConfiguration in PromptFlowNodeConfiguration. |
| Includi in un nodo della knowledge base in un flusso | Quando crei o aggiorni un flusso, seleziona il nodo della knowledge base e specifica il guardrail nella sezione Configura. | Quando definisci il nodo knowledge base nel campo nodes in una richiesta CreateFlow o UpdateFlow, includi un campo guardrailConfiguration in KnowledgeBaseFlowNodeConfiguration. |
Questa sezione illustra l’utilizzo di un guardrail con inferenza del modello e l’API Amazon Bedrock. Puoi utilizzare le operazioni di inferenza di base (InvokeModel e InvokeModelWithResponseStream) e l’API Converse (Converse e ConverseStream). Con entrambi i set di operazioni è possibile utilizzare un guardrail con l’inferenza del modello in modalità sincrona e in streaming. È inoltre possibile valutare selettivamente l’input dell’utente e configurare il comportamento di risposta in streaming.
Argomenti
