As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Melhore a precisão adicionando verificações de raciocínio automatizadas nos Amazon Bedrock Guardrails
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails verificam matematicamente o conteúdo em linguagem natural de acordo com suas políticas definidas, garantindo a conformidade estrita com suas barreiras de proteção. Essas verificações podem ajudar a bloquear sistematicamente conteúdo prejudicial ou não compatível antes que ele chegue aos usuários. Ao contrário das abordagens de correspondência de padrões, o raciocínio automatizado oferece maior precisão com menos falsos positivos, especialmente para requisitos políticos complexos. Para clientes que priorizam a precisão, as regras de política podem ser personalizadas para melhorar a eficácia da proteção por meio de declarações lógicas claras.
Um dos principais desafios dos grandes modelos de linguagem (LLMs) é garantir a precisão de suas respostas. Sem validação, às vezes LLMs pode produzir alucinações ou informações imprecisas que prejudicam a confiança.
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails resolvem esse problema usando técnicas matemáticas para:
-
Detecte alucinações nas respostas do LLM
-
Destaque suposições não declaradas
-
Forneça explicações sobre por que declarações precisas estão corretas
Esse recurso é especialmente valioso quando você precisa demonstrar a base factual para a resposta de um LLM em:
-
Setores regulamentados, como saúde e recursos humanos
-
Aplicativos com regras complexas (aprovações de hipotecas, leis de zoneamento)
-
Cenários de conformidade que exigem respostas de IA auditáveis
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails não protegerão contra ataques de injeção imediata. Essas verificações validam exatamente o que você envia. Se conteúdo malicioso ou manipulado for fornecido como entrada, a validação será realizada nesse conteúdo no estado em que se encontra (entrada e saída de lixo). Para detectar e bloquear ataques de injeção imediata, use filtros de conteúdo em combinação com verificações automatizadas de raciocínio.
O Raciocínio Automatizado analisa e detecta somente textos relevantes para a política de Raciocínio Automatizado. Ele ignorará o resto do conteúdo e não dirá aos desenvolvedores se a resposta está fora do tópico ou não. Se você precisar detectar respostas fora do tópico, use outros componentes de proteção, como políticas de tópicos.
nota
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails geralmente estão disponíveis nas regiões dos EUA (Norte da Virgínia, Oregon e Ohio) e da UE (Frankfurt, Paris, Irlanda).
nota
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails complementam outros recursos do Amazon Bedrock Guardrails, como filtros de conteúdo e políticas de tópicos. Para obter mais informações, consulte Componentes do Guardrail.
CloudFormation atualmente não é suportado. CloudFormation o suporte estará disponível em breve.
No momento, as verificações automatizadas de raciocínio no Amazon Bedrock Guardrails oferecem suporte somente em inglês (EUA).
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails não oferecem suporte a streaming. APIs
Limitações e considerações
Antes de implementar as verificações de raciocínio automatizado, esteja ciente dessas limitações importantes:
-
Complexidade do documento: os documentos de origem devem ser bem estruturados com regras claras e inequívocas. Documentos altamente complexos com condições aninhadas ou declarações contraditórias podem não ser extraídos de forma clara da lógica formal.
-
Tempo de processamento: a validação automatizada do raciocínio adiciona latência às respostas do seu aplicativo. Planeje um tempo adicional de processamento, especialmente para políticas complexas com muitas regras.
-
Escopo da política: cada política deve se concentrar em um domínio específico (por exemplo, RH, finanças, jurídico) em vez de tentar cobrir várias áreas não relacionadas em uma única política.
-
Limites variáveis: políticas com números excessivos de variáveis ou interações de regras excessivamente complexas podem atingir os limites de processamento ou retornar resultados de TOO_COMPLEX.
-
Dependência de linguagem natural: a precisão da validação depende muito de quão bem a linguagem natural nas solicitações do usuário e nas respostas do modelo pode ser traduzida para as variáveis lógicas formais da sua política.
Práticas recomendadas
Siga estas melhores práticas para maximizar a eficácia de suas políticas de raciocínio automatizado:
-
Comece de forma simples: comece com uma política focada que abranja as regras básicas e, em seguida, aumente gradualmente a complexidade. Teste minuciosamente em cada estágio.
-
Escreva descrições abrangentes de variáveis: inclua como os usuários podem naturalmente se referir aos conceitos, não apenas às definições técnicas do documento de origem.
-
Casos extremos de teste: crie testes que visem especificamente condições de limite, exceções e cenários incomuns que seus usuários possam encontrar.
-
Monitore os limites de confiança: comece com limites de confiança mais altos (0,8-0,9) e ajuste com base na sua tolerância a falsos positivos versus falsos negativos.
-
Manutenção regular de políticas: revise e atualize suas políticas à medida que as regras de negócios mudam ou à medida que você identifica lacunas por meio de testes e uso em produção.
-
Documente suas anotações: acompanhe as modificações da política e o raciocínio por trás delas para futura referência e compartilhamento do conhecimento da equipe.
Preços
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails são cobradas com base no número de solicitações de validação processadas. Para obter informações atuais sobre preços, consulte a página de preços do Amazon Bedrock
Cobranças são cobradas para cada solicitação de validação, independentemente do resultado (por exemplo, VALID, INVALID, TRANSLATION_AMBIGUOUS). Para otimizar os custos:
-
Use limites de confiança apropriados para equilibrar a precisão com os requisitos de processamento
-
Considere armazenar em cache os resultados da validação para consultas idênticas ou similares quando apropriado para seu caso de uso
-
Monitore os padrões de uso e ajuste as políticas para reduzir solicitações de validação desnecessárias
Inferência entre regiões para operações de políticas
O raciocínio automatizado utiliza inferência entre regiões para otimizar o desempenho e a disponibilidade das operações de criação e teste de políticas. Operações específicas de API distribuem automaticamente o processamento pelas regiões da AWS dentro do seu limite geográfico para garantir a entrega confiável de serviços.
As seguintes operações da API de Raciocínio Automatizado empregam inferência entre regiões:
-
StartAutomatedReasoningPolicyBuildWorkflow- Invocado durante a criação e compilação da política a partir de documentos de origem -
StartAutomatedReasoningPolicyTestWorkflow- Invocado durante os procedimentos de validação e teste de políticas
Essas operações invocam grandes modelos de linguagem para extrair regras lógicas formais dos documentos de origem e traduzir construções de linguagem natural em representações lógicas estruturadas. Para garantir desempenho e disponibilidade ideais, o processamento de solicitações é distribuído de acordo com o seguinte roteamento geográfico:
-
Regiões dos Estados Unidos da América: solicitações de API originadas do Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) ou Leste dos EUA (Ohio) podem ser processadas em qualquer região dos EUA compatível.
-
Regiões da União Europeia: solicitações de API provenientes da UE (Frankfurt), UE (Paris) ou UE (Irlanda) podem ser processadas em qualquer região da UE compatível.
Importante
Os dados do cliente permanecem dentro do limite geográfico de origem (Estados Unidos da América ou União Europeia) e são processados de acordo com os compromissos de residência de dados da AWS. A inferência entre regiões encaminha as solicitações exclusivamente dentro da mesma região geográfica para otimizar o desempenho e a disponibilidade do serviço.
A inferência entre regiões opera de forma transparente sem exigir a configuração do cliente. A funcionalidade da API permanece consistente, independentemente da região específica que processa a solicitação.
Para usar as verificações de raciocínio automatizadas no Amazon Bedrock Guardrails, siga estas etapas:
-
Faça upload de um documento de origem que contenha as regras que você deseja aplicar
-
Revise a política extraída com conceitos e regras identificados automaticamente
-
Teste e refine a política para garantir que ela funcione corretamente
-
Implemente a política para validar as respostas do seu modelo básico
O fluxo de trabalho pode ser visualizado como:
Source Document → Extracted Policy → Testing → Deployment → Runtime Validation (rules) (formal logic) (verify) (activate) (check responses)
Políticas
As políticas de raciocínio automatizado são a base da validação de precisão, contendo regras e variáveis lógicas que são extraídas automaticamente do documento de origem. Essas políticas servem como representação matemática de suas regras de negócios, permitindo que o sistema valide sistematicamente se as respostas do modelo básico estão em conformidade com suas restrições definidas. Para realizar verificações de raciocínio automatizado em seu aplicativo, você configura sua grade de proteção para usar uma política que corresponda aos requisitos específicos de domínio e validação.
Regras
As regras são lógicas que o raciocínio automatizado extrai do seu documento de origem. Elas podem ser escritas como declarações do tipo “se então”. Aqui estão alguns exemplos do formato da regra:
if <premise>, then <claim>
<premise> is true
nota
Importante: regras que não estão no formato “se então” podem ter consequências inesperadas ao estabelecer axiomas sobre o mundo. Por exemplo, se uma regra simplesmente declararaccountBalance > 5, torna-se impossível que o saldo de uma conta seja 5 ou menos, independentemente do que diz o conteúdo para validação. A regra tornou logicamente impossível que essa condição existisse. Isso pode resultar em resultados de validação inesperados em que o conteúdo é sinalizado incorretamente como não compatível porque contradiz o axioma estabelecido pela regra. Para evitar isso, estruture as regras como declarações condicionais (formato if-then) que descrevem relacionamentos em vez de restrições absolutas.
Variáveis
As variáveis representam conceitos em sua política de raciocínio automatizado que podem ter valores atribuídos a elas ao traduzir a linguagem natural em lógica formal. Suas regras de política definem restrições sobre o que são valores válidos ou inválidos para essas variáveis.
As variáveis têm um nome, um tipo e uma descrição. Por exemplo, uma política sobre benefícios para funcionários pode ter uma variável com o nome “employee_age”, o tipo “integer” e a descrição “A idade do funcionário em anos”. Essa variável pode receber um valor como 25 com base na linguagem natural em um prompt para um aplicativo.
Por exemplo, uma is_full_time variável em uma política de RH pode ter uma descrição que indica “Funcionários que trabalham mais de 20 horas por semana”, que é uma citação direta do documento de origem. Ao usar um chatbot, é mais provável que os usuários digam “trabalho em tempo integral” e não “trabalho mais de 20 horas por semana”.
A precisão da tradução da linguagem natural para a lógica formal depende muito da qualidade das descrições das variáveis. Embora o processo de raciocínio seja válido após a conclusão da tradução, descrições de variáveis claras e abrangentes garantem que as solicitações do usuário sejam interpretadas corretamente. Sem descrições completas das variáveis, o raciocínio automatizado pode retornar NO_DATA porque não consegue traduzir a linguagem natural de entrada em sua representação lógica formal.
É importante que uma descrição da variável leve em conta cenários como esse. Uma descrição abrangente da variável pode indicar: “Os funcionários que trabalham mais de 20 horas por semana trabalham em tempo integral. Os usuários dirão em tempo integral para definir esse valor como verdadeiro ou em tempo parcial para defini-lo como falso.”
Tipos de variáveis predefinidos
A tabela a seguir descreve os tipos predefinidos de variáveis que sua política pode ter.
| Tipo | Descrição |
|---|---|
|
bool |
As variáveis booleanas podem ser verdadeiras ou falsas. Por exemplo, em uma política de licença, você usaria uma |
|
int |
|
|
real |
|
|
enum |
As variáveis Enum podem armazenar um único valor selecionado de um conjunto de opções fixas. Por exemplo, em uma política de licença, você pode usar uma variável enum para armazenar o tipo de licença: (1) Férias pagas; (2) Tempo pessoal; (3) Licença de ausência Você também pode criar tipos de enumeração personalizados e definidos pelo usuário que fornecem contexto adicional além dos tipos de variáveis predefinidos. Esses tipos personalizados permitem que você defina conjuntos específicos de valores relevantes para seu domínio de política. |
Tópicos
