Usar a verificação de base contextual para filtrar alucinações nas respostas

As Barreiras de Proteção do Amazon Bedrock permitem verificações de base contextual para detectar e filtrar alucinações nas respostas do modelo quando uma fonte de referência e uma consulta do usuário são fornecidas. Os casos de uso compatíveis abrangem geração aumentada via recuperação (RAG), resumo, paráfrase ou agentes conversacionais que dependem de uma fonte de referência, como trechos recuperados na RAG ou histórico de conversas, para que os agentes fundamentem as conversas.

As verificações de base contextual examinam a relevância de cada fragmento processado. Se qualquer parte for considerada relevante, toda a resposta será considerada relevante, pois contém a resposta à consulta do usuário. Para a API de streaming, isso pode resultar em um cenário em que uma resposta irrelevante seja retornada ao usuário e só ser marcada como irrelevante depois que toda a resposta for transmitida.

As verificações de base contextual avaliam alucinações em dois paradigmas:

Considere um exemplo em que a fonte de referência contém “Londres é a capital do Reino Unido. Tóquio é a capital do Japão” e a consulta do usuário é “Qual é a capital do Japão?”. Uma resposta como “A capital do Japão é Londres” será considerada infundada e factualmente incorreta, enquanto uma resposta como “A capital do Reino Unido é Londres” será considerada irrelevante, mesmo que esteja correta e fundamentada na fonte.

Pontuações e limites de confiança

As verificações de base contextual geram pontuações de confiança correspondentes ao fundamento e à relevância de cada resposta do modelo processada com base na fonte e na consulta fornecida pelo usuário. É possível configurar limites para filtrar as respostas do modelo com base nas pontuações geradas. O limite de filtragem determina a pontuação de confiança mínima permitida para que a resposta do modelo seja considerada fundamentada e relevante na aplicação de IA generativa. Por exemplo, se o limite de base e o limite de relevância estiverem definidos em 0,7, todas as respostas do modelo com uma pontuação de base ou relevância inferior a 0,7 serão detectadas como alucinações e bloqueadas na aplicação. À medida que o limite de filtragem aumenta, a probabilidade de bloquear conteúdo não fundamentado e irrelevante aumenta, e a probabilidade de ver conteúdo alucinado na aplicação diminui. É possível configurar valores limite de base e de relevância entre 0 e 0,99. Um limite de 1 é inválido, pois bloqueará todo o conteúdo.

As verificações de base contextual requerem três componentes para realizar a verificação: a fonte de base, a consulta e o conteúdo a ser protegido (ou a resposta do modelo). Eles são configurados de forma diferente, dependendo de você estar usando APIs Invoke, APIs Converse ou ApplyGuardrail diretamente.

Exemplo não fundamentado

Neste exemplo, o conteúdo a ser protegido é relevante para a consulta, mas não é fundamentado, pois não usa a fonte de base corretamente. Isso teria uma pontuação de base baixa.

Exemplo irrelevante

Neste exemplo, o conteúdo a ser protegido é fundamentado, mas não é relevante. Ele usa informações da fonte de base, mas não responde à consulta. Esse exemplo teria uma pontuação de relevância baixa.

Exemplo infundado e irrelevante

Neste exemplo, o conteúdo a ser protegido não é fundamentado e não é relevante. Ele não usa informações da fonte de base, nem responde à consulta. Esse exemplo teria uma pontuação de base baixa e uma relevância baixa.

Mais exemplos

Considere uma aplicação bancária criada para responder a perguntas relacionadas a taxas e cobranças.

Fonte:

Com base na fonte acima, pode haver quatro cenários, dependendo da consulta do usuário.

Fundamentado e relevante

Não fundamentado, mas relevante

Fundamentado, mas irrelevante

Não fundamentado, mas irrelevante

Adicionar verificações de base contextual com o console

Chamar a verificação de base contextual com APIs Invoke

Para marcar a fonte de base e a consulta na entrada, fornecemos duas tags que funcionam da mesma forma que as tags de entrada. Essas tags são amazon-bedrock-guardrails-groundingSource_xyz e amazon-bedrock-guardrails-query_xyz supondo que o sufixo da tag seja xyz. Por exemplo:

{
    "text": """
<amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan. </amazon-bedrock-guardrails-groundingSource_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
""",
    "amazon-bedrock-guardrailConfig": {
        "tagSuffix": "xyz",
    },
}    
        

Observe que a resposta do modelo é necessária para realizar verificações de base contextual e, portanto, as verificações só serão executadas na saída e não no prompt.

Essas tags podem ser usadas com as tags guardContent. Se nenhuma tag guardContent for usada, a barreira de proteção usará como padrão a aplicação de todas as políticas configuradas em toda a entrada, incluindo a fonte de base e a consulta. Se as tags guardContent forem usadas, a política de verificação de base contextual investigará apenas a fonte de base, a consulta e a resposta, enquanto as demais políticas investigarão o conteúdo dentro das tags guardContent.

Chamar a verificação de base contextual com APIs Converse

Para marcar a fonte de base e a consulta das APIs Converse, use o campo de qualificadores em cada bloco de conteúdo de proteção. Por exemplo:

[
    {
        "role": "user",
        "content": [
            {
                "guardContent": {
                    "text": {
                        "text": "London is the capital of UK. Tokyo is the capital of Japan",
                        "qualifiers": ["grounding_source"],
                    }
                }
            },
            {
                "guardContent": {
                    "text": {
                        "text": "What is the capital of Japan?",
                        "qualifiers": ["query"],
                    }
                }
            },
        ],
    }
]
        

Observe que a resposta do modelo é necessária para realizar verificações de base contextual e, portanto, as verificações só serão executadas na saída e não no prompt.

Se nenhum dos blocos de conteúdo estiver marcado com o qualificador guard_content, a política de verificações de base contextual investigará apenas a fonte de base, a consulta e a resposta. As demais políticas seguirão o comportamento padrão de investigação: o padrão de prompt do sistema é não ser investigado, e o padrão de mensagens é serem investigadas. Se, no entanto, um bloco de conteúdo estiver marcado com o qualificador guard_content, a política de verificações de base contextual investigará apenas a fonte de base, a consulta e a resposta, enquanto as demais políticas investigarão o conteúdo marcado com as tags guardContent.

Chamar a verificação de base contextual com a API ApplyGuardrail

Usar a verificação de base contextual com ApplyGuardrail é semelhante a usá-la com as APIs Converse. Para marcar a fonte de base e a consulta para ApplyGuardrail, use o campo de qualificadores em cada bloco de conteúdo. No entanto, como um modelo não é invocado com ApplyGuardrail, forneça também um bloco de conteúdo extra com o conteúdo a ser protegido. Esse bloco de conteúdo pode ser qualificado opcionalmente com guard_content e é equivalente à resposta do modelo nas APIs Invoke* ou Converse*. Por exemplo:

[
    {
        "text": {
            "text": "London is the capital of UK. Tokyo is the capital of Japan",
            "qualifiers": [
                "grounding_source"
            ]
        }
    },
    {
        "text": {
            "text": "What is the capital of Japan?",
            "qualifiers": [
                "query"
            ]
        }
    },
    {
        "text": {
            "text": "The capital of Japan is Tokyo."
        }
    }
]
        

Observe que a resposta do modelo é necessária para realizar verificações de base contextual e, portanto, as verificações só serão executadas na saída e não no prompt.

Se nenhum dos blocos de conteúdo estiver marcado com o qualificador guard_content, a política de verificações de base contextual investigará apenas a fonte de base, a consulta e a resposta. As demais políticas seguirão o comportamento padrão de investigação: o padrão de prompt do sistema é não ser investigado, e o padrão de mensagens é serem investigadas. Se, no entanto, um bloco de conteúdo estiver marcado com o qualificador guard_content, a política de verificações de base contextual investigará apenas a fonte de base, a consulta e a resposta, enquanto as demais políticas investigarão o conteúdo marcado com as tags guardContent.