As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Melhorar a precisão adicionando verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock
As verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock verificam matematicamente o conteúdo em linguagem natural de acordo com as políticas definidas, garantindo uma conformidade estrita com as barreiras de proteção. Essas verificações podem ajudar a bloquear sistematicamente conteúdo nocivo ou que não esteja em conformidade com as normas antes que ele chegue aos usuários. Ao contrário das abordagens de correspondência de padrões, o raciocínio automatizado oferece maior precisão com menos falso-positivos, especialmente para requisitos de política complexos. Para clientes que priorizam a precisão, as regras de política podem ser personalizadas para melhorar a eficácia da barreira de proteção por meio de declarações lógicas claras.
Um dos principais desafios dos grandes modelos de linguagem (LLMs) é garantir a precisão de suas respostas. Sem validação, às vezes LLMs pode produzir alucinações ou informações imprecisas que prejudicam a confiança.
As verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock resolvem esse problema usando técnicas matemáticas para:
-
Detectar alucinações nas respostas do LLM.
-
Destacar suposições implícitas.
-
Fornecer explicações para justificar por que as afirmações precisas estão corretas.
Esse recurso é especialmente valioso quando você precisa demonstrar a base factual para a resposta de um LLM em:
-
setores regulamentados, como o de saúde e recursos humanos;
-
aplicações com regras complexas (aprovações de hipoteca, leis de zoneamento);
-
cenários de conformidade que exigem respostas de IA auditáveis.
As verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock não oferecem proteção contra ataques de injeção de prompt. Essas verificações validam exatamente o que você envia. Se for fornecido um conteúdo mal-intencionado ou manipulado como entrada, a validação será realizada nesse conteúdo no estado em que se encontra (se entra lixo, sai lixo). Para detectar e bloquear ataques de injeção de prompt, use filtros de conteúdo com verificações com raciocínio automatizado.
O raciocínio automatizado apenas analisa e detecta textos pertinentes à política de raciocínio automatizado. Ele ignorará o restante do conteúdo e não indicará aos desenvolvedores se a resposta está fora do tópico ou não. Se você precisar detectar respostas fora do tópico, use outros componentes de barreira de proteção, como políticas de tópico.
nota
As verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock geralmente estão disponíveis nas regiões dos EUA (Norte da Virgínia, Oregon e Ohio) e da UE (Frankfurt, Paris e Irlanda).
nota
As verificações com raciocínio automatizado complementam outros recursos das nas Barreiras de Proteção do Amazon Bedrock, como filtros de conteúdo e políticas de tópico. Para ter mais informações, consulte os componentes de barreira de proteção.
No momento, as verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock são oferecidas somente em inglês (EUA).
As verificações automatizadas de raciocínio no Amazon Bedrock Guardrails não suportam streaming. APIs
Limitações e considerações
Antes de implementar as verificações com raciocínio automatizado, esteja ciente destas limitações importantes:
-
Complexidade do documento: os documentos de origem devem ser bem estruturados com regras claras e inequívocas. Documentos altamente complexos com condições aninhadas ou declarações contraditórias podem não ser extraídos de forma clara e convertidos em lógica formal. Os documentos de entrada são limitados a 5 MB de tamanho e 50.000 caracteres. Você pode dividir documentos maiores e mesclar cada seção em sua política. Imagens e tabelas em documentos também afetam o número de caracteres de entrada.
-
Tempo de processamento: a validação do raciocínio automatizado aumenta latência das respostas da aplicação. Planeje um tempo adicional de processamento, especialmente para políticas complexas que tenham muitas regras.
-
Escopo da política: cada política deve se concentrar em um domínio específico (por exemplo, RH, finanças, jurídico) em vez de tentar abranger várias áreas não relacionadas em uma única política.
-
Limites variáveis: políticas com números excessivos de variáveis ou interações excessivamente complexas entre regras podem atingir os limites de processamento ou exibir resultados TOO_COMPLEX.
-
Dependência de linguagem natural: a precisão da validação depende muito de quão bem a linguagem natural nos prompts do usuário e nas respostas do modelo pode ser convertida nas variáveis lógicas formais da sua política.
-
Aritmética não linear: as verificações automatizadas de raciocínio podem atingir o tempo limite ou retornar TOO_COMPLEX se as restrições envolverem raciocínio com aritmética não linear (por exemplo, números ou expoentes irracionais)
Práticas recomendadas
Siga estas práticas recomendadas para maximizar a eficácia de suas políticas de raciocínio automatizado:
-
Comece de forma simples: comece com uma política focada que abranja as regras básicas e, em seguida, aumente gradualmente a complexidade. Teste minuciosamente a cada estágio.
-
Escreva descrições abrangentes para as variáveis: inclua como os usuários podem se referir naturalmente aos conceitos, não apenas às definições técnicas do documento original.
-
Teste casos extremos: crie testes que visem especificamente condições de limite, exceções e cenários incomuns que os usuários possam encontrar.
-
Monitore os limites de confiança: comece com limites de confiança mais altos (0,8-0,9) e ajuste com base na sua tolerância a falso-positivos versus falso-negativos.
-
Gerencie regularmente suas políticas: analise e atualize suas políticas à medida que as regras de negócios mudarem ou à medida que você identificar discrepâncias por meio de testes e do uso em produção.
-
Documente suas anotações: acompanhe as modificações da política e o raciocínio subjacente para futuras referências e compartilhamento de conhecimentos da equipe.
Preços
As verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock são cobradas com base no número de solicitações de validação processadas. Para ter informações atuais sobre preço, consulte a página Preços do Amazon Bedrock
As cobranças são aplicadas a cada solicitação de validação, independentemente do resultado (por exemplo, VALID, INVALID e TRANSLATION_AMBIGUOUS). Para otimizar os custos:
-
Use limites de confiança apropriados para contrabalançar a precisão com os requisitos de processamento.
-
Considere a possibilidade de armazenar em cache os resultados da validação para consultas idênticas ou semelhantes, quando apropriado para seu caso de uso.
-
Monitore os padrões de uso e ajuste as políticas para reduzir solicitações de validação desnecessárias.
Inferência entre regiões para operações de política
O raciocínio automatizado utiliza a inferência entre regiões para otimizar o desempenho e a disponibilidade das operações de criação e teste de políticas. Operações específicas de API distribuem automaticamente o processamento pelas regiões da AWS dentro do seu limite geográfico para garantir a entrega confiável de serviços.
As seguintes operações de API de raciocínio automatizado utilizam a inferência entre regiões:
-
StartAutomatedReasoningPolicyBuildWorkflow: invocada durante a criação e compilação da política com base em documentos de origem. -
StartAutomatedReasoningPolicyTestWorkflow: invocada durante os procedimentos de validação e teste de políticas.
Essas operações invocam grandes modelos de linguagem para extrair regras lógicas formais dos documentos de origem e converter constructos em linguagem natural em representações lógicas estruturadas. Para garantir um nível ideal de desempenho e disponibilidade, o processamento de solicitações é distribuído de acordo com o seguinte roteamento geográfico:
-
Regiões dos Estados Unidos: as solicitações de API originadas do Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) ou Leste dos EUA (Ohio) podem ser processadas em qualquer região compatível dos EUA.
-
Regiões da União Europeia: as solicitações de API provenientes da UE (Frankfurt), UE (Paris) ou UE (Irlanda) podem ser processadas em qualquer região compatível da UE.
Importante
Os dados do cliente permanecem dentro do limite geográfico de origem (Estados Unidos ou União Europeia) e são processados de acordo com os compromissos de residência de dados da AWS. A inferência entre regiões encaminha as solicitações exclusivamente dentro da mesma região geográfica para otimizar o desempenho e a disponibilidade do serviço.
A inferência entre regiões opera de forma transparente sem exigir a configuração do cliente. A funcionalidade da API permanece consistente, independentemente da região específica que processa a solicitação.
Para usar as verificações com raciocínio automatizado nas Barreiras de Proteção do Amazon Bedrock, siga estas etapas:
-
Faça upload de um documento original que contenha as regras que você deseja aplicar.
-
Analise a política extraída com conceitos e regras identificados automaticamente.
-
Teste e refine a política para garantir que ela funcione corretamente.
-
Implante a política para validar as respostas do modelo de base.
O fluxo de trabalho pode ser visualizado como:
Source Document → Extracted Policy → Testing → Deployment → Runtime Validation (rules) (formal logic) (verify) (activate) (check responses)
Políticas
As políticas de raciocínio automatizado são a base da validação de precisão, contendo regras e variáveis lógicas que são extraídas automaticamente do documento original. Essas políticas servem como representação matemática de suas regras de negócios, permitindo que o sistema valide sistematicamente se as respostas do modelo de base estão de acordo com as restrições definidas. Para realizar verificações com raciocínio automatizado em sua aplicação, configure a barreira de proteção para usar uma política que corresponda aos requisitos específicos do domínio e de validação.
Regras
As regras são lógicas que o raciocínio automatizado extrai do documento original. Elas podem ser escritas como declarações do tipo “se-então”. Veja alguns exemplos de formato de regra:
<claim> is true if <premise>
nota
Importante: regras que não estão no formato “se-então” podem ter consequências inesperadas ao estabelecer axiomas sobre o mundo. Por exemplo, se uma regra simplesmente declarar accountBalance > 5, será impossível que o saldo de uma conta seja 5 ou menos, independentemente do que o conteúdo para validação indicar. A regra fez com que essa condição se tornasse logicamente impossível. Isso pode gerar resultados de validação inesperados em que o conteúdo é sinalizado incorretamente como não compatível porque contradiz o axioma estabelecido pela regra. Para evitar isso, estruture as regras como declarações condicionais (formato se-então) que descrevam relações em vez de restrições absolutas.
Variáveis
As variáveis representam conceitos em sua política de raciocínio automatizado que podem ter valores atribuídos a elas ao converter a linguagem natural em lógica formal. Suas regras de política definem restrições sobre o que são valores válidos ou inválidos para essas variáveis.
As variáveis têm um nome, um tipo e uma descrição. Por exemplo, uma política sobre benefícios para funcionários pode ter uma variável com o nome “employee_age”, o tipo “inteiro” e a descrição “A idade do funcionário em anos”. Essa variável pode receber um valor, como 25, com base na linguagem natural em um prompt para uma aplicação.
Por exemplo, uma variável is_full_time em uma política de RH pode ter uma descrição que indica “Funcionários que trabalham mais de 20 horas por semana”, que é uma citação direta do documento original. Ao usar um chatbot, é mais provável que os usuários digam “Eu trabalho em período integral” e não “Eu trabalho mais de 20 horas por semana”.
A precisão da conversão da linguagem natural em lógica formal depende muito da qualidade das descrições das variáveis. Embora o processo de raciocínio seja válido após a conclusão da conversão, descrições de variáveis claras e abrangentes garantem que os prompts do usuário sejam interpretados corretamente. Sem descrições completas das variáveis, o raciocínio automatizado pode exibir NO_DATA porque não consegue converter a linguagem natural de entrada na respectiva representação lógica formal.
É importante que uma descrição de variável leve em conta cenários como esse. Uma descrição abrangente da variável pode indicar: “Os funcionários que trabalham mais de 20 horas por semana trabalham em período integral. Os usuários dirão período integral para definir esse valor como verdadeiro ou meio período para defini-lo como falso”.
Tipos de variáveis predefinidos
A tabela a seguir descreve os tipos de variáveis predefinidos que sua política pode ter.
| Tipo | Description |
|---|---|
|
BOOL |
As variáveis boolianas podem ser verdadeiras ou falsas. Por exemplo, em uma política de licença, você usaria uma variável |
|
INT |
Variáveis numéricas |
|
NUMBER |
|
|
enum |
As variáveis Enum são tipos definidos pelo usuário que podem armazenar um único valor selecionado de um conjunto de opções fixas definidas em um tipo personalizado. Por exemplo, em uma política de licença, você pode usar uma variável enum para armazenar |
Tópicos
