Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzare il controllo di correlazione contestuale per filtrare le allucinazioni nelle risposte

Guardrail per Amazon Bedrock supporta i controlli di correlazione contestuale per rilevare e filtrare le allucinazioni nelle risposte del modello quando vengono fornite una fonte di riferimento e una query dell’utente. I casi d'uso supportati includono il riepilogo, la parafrasi e la risposta alle domande, come definito nella disciplina informatica. (I casi d'uso di QA conversazionale /Chatbot non sono supportati.)

I controlli di correlazione contestuale verificano la pertinenza di ogni blocco elaborato. Se un singolo blocco è ritenuto pertinente, l’intera risposta è considerata pertinente in quanto contiene la risposta alla domanda dell’utente. Per l’API di streaming può verificarsi uno scenario in cui all’utente viene restituita una risposta non pertinente, ma viene contrassegnata come tale solo dopo la trasmissione dell’intera risposta.

Il grounding contestuale verifica i seguenti paradigmi:

Consideriamo un esempio in cui la fonte di riferimento contiene “Londra è la capitale del Regno Unito. Tokyo è la capitale del Giappone” e la query dell’utente è “Qual è la capitale del Giappone?”. Una risposta come “La capitale del Giappone è Londra” sarà considerata non correlata e di fatto errata, mentre una risposta come “La capitale del Regno Unito è Londra” sarà considerata non pertinente, anche se è corretta e correlata all’origine.

Punteggi e soglie di attendibilità

I controlli di correlazione contestuale generano punteggi di attendibilità corrispondenti alla correlazione e alla pertinenza per ogni risposta del modello elaborata in base all’origine e alla query dell’utente fornita. È possibile configurare soglie per filtrare le risposte del modello in base ai punteggi generati. La soglia di filtraggio determina il punteggio di attendibilità minimo consentito affinché la risposta del modello venga considerata correlata e pertinente nell’applicazione di IA generativa. Ad esempio, se la soglia di correlazione e la soglia di pertinenza sono entrambe impostate su 0,7, tutte le risposte del modello con un punteggio di correlazione o di pertinenza inferiore a 0,7 verranno considerate come allucinazioni e bloccate nell’applicazione. Man mano che aumenta la soglia di filtraggio, aumenta la probabilità di bloccare contenuti non correlati e non pertinenti e diminuisce la probabilità di vedere contenuti allucinati nell’applicazione. È possibile configurare valori di soglia relativi a correlazione e pertinenza compresi tra 0 e 0,99. Una soglia pari a 1 non è valida in quanto blocca tutti contenuti.

Per eseguire i controlli di correlazione contestuale sono necessari tre componenti: l’origine della correlazione, la query e i contenuti da proteggere (o la risposta del modello). Questi sono configurati in modo diverso a seconda che si utilizzi Invoke o direttamente APIs. Converse APIs ApplyGuardrail

Esempio di risposta non correlata

In questo esempio, il contenuto da proteggere è pertinente alla query ma non è correlato in quanto non utilizza correttamente l’origine della correlazione. Avrebbe un punteggio di correlazione basso.

Esempio di risposta non pertinente

In questo esempio, il contenuto da proteggere è correlato ma non pertinente. Utilizza informazioni provenienti dall’origine della correlazione ma non risponde alla query. Avrebbe un punteggio di pertinenza basso.

Esempio di risposta non correlata e non pertinente

In questo esempio, il contenuto da proteggere non è correlato e non è pertinente. Non utilizza informazioni provenienti dall’origine della correlazione e non risponde alla query. Avrebbe un punteggio di correlazione e di pertinenza basso.

Altri esempi

Consideriamo un’applicazione bancaria progettata per rispondere a domande relative a costi e commissioni.

Origine:

Sulla base dell’origine precedente, possono verificarsi quattro scenari a seconda della query dell’utente.

Correlata e pertinente

Non correlata ma pertinente

Correlata ma non pertinente

Non correlata e non pertinente

Aggiungere controlli di correlazione contestuale con la console

Chiamare il controllo contestuale del grounding con Invoke APIs

Per contrassegnare l’origine della correlazione e la query nell’input, sono disponibili due tag che funzionano in modo analogo ai tag di input. Sono i tag amazon-bedrock-guardrails-groundingSource_xyz e amazon-bedrock-guardrails-query_xyz, dove xyz rappresenta il suffisso del tag. Esempio:

{
    "text": """
<amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan. </amazon-bedrock-guardrails-groundingSource_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
""",
    "amazon-bedrock-guardrailConfig": {
        "tagSuffix": "xyz",
    },
}    
        

La risposta del modello è obbligatoria per eseguire i controlli di correlazione contestuale e quindi i controlli vengono eseguiti solo sull’output e non sul prompt.

Questi tag possono essere utilizzati insieme ai tag guardContent. Se non vengono utilizzati tag guardContent, per impostazione predefinita il guardrail applica tutte le policy configurate in tutto l’input, incluse l’origine della correlazione e la query. Se vengono utilizzati i tag guardContent, la policy del controllo di correlazione contestuale esamina solo l’origine della correlazione, la query e la risposta, mentre le altre policy esaminano i contenuti nei tag guardContent.

Chiamare il controllo contestuale del grounding con Converse APIs

Per contrassegnare la fonte del grounding e la query per Converse APIs, usa il campo qualifiers in ogni blocco di contenuto di Guard. Esempio:

[
    {
        "role": "user",
        "content": [
            {
                "guardContent": {
                    "text": {
                        "text": "London is the capital of UK. Tokyo is the capital of Japan",
                        "qualifiers": ["grounding_source"],
                    }
                }
            },
            {
                "guardContent": {
                    "text": {
                        "text": "What is the capital of Japan?",
                        "qualifiers": ["query"],
                    }
                }
            },
        ],
    }
]
        

La risposta del modello è obbligatoria per eseguire i controlli di correlazione contestuale e quindi i controlli vengono eseguiti solo sull’output e non sul prompt.

Se nessuno dei blocchi di contenuti è contrassegnato con il qualificatore guard_content, la policy dei controlli di correlazione contestuale esamina solo l’origine della correlazione, la query e la risposta. Le altre policy seguono il comportamento di indagine predefinito: per impostazione predefinita il prompt di sistema non viene esaminato mentre i messaggi vengono esaminati. Se invece un blocco di contenuti viene contrassegnato con il qualificatore guard_content, la policy dei controlli di correlazione contestuale esamina solo l’origine della correlazione, la query e la risposta, mentre le altre policy esaminano i contenuti contrassegnati con i tag guardContent.

Chiamata contestuale del grounding check con API ApplyGuardrail

L'utilizzo di contextual grounding check with ApplyGuardrail è simile a quello con. Converse APIs Per contrassegnare l’origine della correlazione e la query per ApplyGuardrail, utilizzare il campo dei qualificatori in ogni blocco di contenuti. Tuttavia, poiché con ApplyGuardrail non viene invocato alcun modello, è necessario fornire anche un blocco di contenuti aggiuntivo con i contenuti da proteggere. Questo blocco di contenuto può essere facoltativamente qualificato con guard_content ed è equivalente alla risposta del modello in Invoke* o Converse*. APIs Esempio:

[
    {
        "text": {
            "text": "London is the capital of UK. Tokyo is the capital of Japan",
            "qualifiers": [
                "grounding_source"
            ]
        }
    },
    {
        "text": {
            "text": "What is the capital of Japan?",
            "qualifiers": [
                "query"
            ]
        }
    },
    {
        "text": {
            "text": "The capital of Japan is Tokyo."
        }
    }
]
        

La risposta del modello è obbligatoria per eseguire i controlli di correlazione contestuale e quindi i controlli vengono eseguiti solo sull’output e non sul prompt.

Se nessuno dei blocchi di contenuti è contrassegnato con il qualificatore guard_content, la policy dei controlli di correlazione contestuale esamina solo l’origine della correlazione, la query e la risposta. Le altre policy seguono il comportamento di indagine predefinito: per impostazione predefinita il prompt di sistema non viene esaminato mentre i messaggi vengono esaminati. Se invece un blocco di contenuti viene contrassegnato con il qualificatore guard_content, la policy dei controlli di correlazione contestuale esamina solo l’origine della correlazione, la query e la risposta, mentre le altre policy esaminano i contenuti contrassegnati con i tag guardContent.