Criar uma barreira de proteção

Filtros de conteúdo — detecte e filtre conteúdo de texto ou imagem nocivo nas solicitações de entrada ou nas respostas do modelo. A filtragem é feita com base na detecção de determinadas categorias predefinidas de conteúdo nocivo, como ódio, insultos, sexo, violência, má conduta e ataque de prompt. Também é possível ajustar a intensidade do filtro para cada uma dessas categorias. Com o nível Padrão, os filtros de conteúdo se estendem ao conteúdo relacionado ao código.

Ataques de prompt: pode ajudar a detectar e filtrar ataques de prompt e injeções de prompt. Ajuda a detectar prompts destinados a ignorar a moderação, substituir instruções ou gerar conteúdo nocivo.

Tópicos negados: é possível definir um conjunto de tópicos a serem evitados em sua aplicação de IA generativa. Por exemplo, uma aplicação de assistente bancário pode ser criada para ajudar a evitar tópicos relacionados a consultoria de investimento ilegal. Com o nível Padrão, os filtros de conteúdo se estendem ao conteúdo relacionado ao código.

Filtros de palavras: é possível configurar um conjunto de palavras ou frases personalizadas (correspondência exata) que você deseja detectar e bloquear na interação entre os usuários e as aplicações de IA generativa. Por exemplo, é possível detectar e bloquear palavrões, bem como palavras personalizadas específicas, como nomes de concorrentes ou outras palavras ofensivas.

Filtros de informações sensíveis: podem ajudar a detectar conteúdo sensível, como informações de identificação pessoal (PII), em formatos padrão ou entidades de regex personalizadas nas entradas do usuário e nas respostas do FM. Com base no caso de uso, é possível rejeitar entradas que contenham informações confidenciais ou editá-las nas respostas do FM. Por exemplo, é possível editar as informações pessoais dos usuários ao gerar resumos de transcrições de conversas com clientes e agentes.

Verificações de base contextual: podem ajudar a detectar e filtrar alucinações nas respostas do modelo se elas não estiverem fundamentadas (factualmente imprecisas ou adicionarem novas informações) nas informações de origem ou forem irrelevantes para a consulta do usuário. Por exemplo, é possível bloquear ou sinalizar respostas em aplicações RAG (geração aumentada de recuperação), se as respostas do modelo se desviarem das informações nas passagens recuperadas ou não responderem à pergunta do usuário.

Verificações com raciocínio automatizado: pode ajudar a validar se as respostas do modelo seguem políticas e regras lógicas que você define. É possível criar políticas usando linguagem natural que especifique os requisitos de raciocínio, caso em que a barreira de proteção avaliará se as saídas do modelo estão em conformidade com essas restrições lógicas. Por exemplo, você pode garantir que um chatbot de atendimento ao cliente recomende apenas produtos que estejam realmente disponíveis no estoque ou verificar se a consultoria financeira segue as regras de conformidade regulatória.