Détection et filtrage des contenus préjudiciables à l’aide des barrières de protection Amazon Bedrock

Une application de chatbot pour aider à filtrer les entrées utilisateur nuisibles et les réponses toxiques des modèles.

Une application bancaire permettant de bloquer les requêtes des utilisateurs ou de modéliser les réponses associées à la recherche ou à la fourniture de conseils d'investissement illégaux.

Une application de centre d’appels résumant les transcriptions des conversations entre les utilisateurs et les agents peut utiliser les barrières de protection pour retirer les données d’identification personnelle (PII) des utilisateurs afin de protéger la confidentialité.

Filtres de contenu : ce filtre vous permet de détecter et de filtrer le contenu textuel ou image dangereux dans les demandes de saisie ou dans les modèles de réponses. Le filtrage est effectué sur la base de la détection de certaines catégories de contenus préjudiciables prédéfinies : haine, insultes, sexe, violence, inconduite et attaque d’invites. Vous pouvez configurer l'intensité du filtre pour chacune de ces catégories en fonction de vos cas d'utilisation. Ces catégories sont prises en charge pour les niveaux classique et standard. Avec le niveau Standard, la détection du contenu indésirable est étendue à la protection contre le contenu préjudiciable introduit dans les éléments du code, notamment les commentaires, les noms de variables et de fonctions et les chaînes littérales.

Sujets refusés : vous pouvez définir un ensemble de sujets indésirables dans le contexte de votre application. Le filtre aidera à les bloquer s’ils sont détectés dans les requêtes des utilisateurs ou dans les réponses du modèle. Avec le niveau Standard, la détection du contenu indésirable est étendue à la protection contre le contenu préjudiciable introduit dans les éléments du code, notamment les commentaires, les noms de variables et de fonctions, ainsi que les chaînes littérales.

Filtres de mots : vous pouvez définir un ensemble de mots ou d'expressions personnalisés (correspondance exacte) que vous souhaitez bloquer lors de l'interaction entre les utilisateurs finaux et les applications d'IA générative. Par exemple, vous pouvez bloquer les grossièretés (utilisez une ready-to-use option) ainsi que les mots personnalisés tels que les noms des concurrents.

Filtres d'informations sensibles : vous pouvez configurer ce filtre pour aider à bloquer ou à masquer les informations sensibles, telles que les informations personnelles identifiables (PII), dans les entrées des utilisateurs et dans les réponses des modèles. Le blocage ou le masquage sont effectués sur la base de la détection probabiliste d'informations sensibles dans des entités telles que le numéro SSN, la date de naissance, l'adresse, etc. Ce filtre permet également de configurer la détection de modèles basée sur des expressions régulières (regex personnalisé).

Contrôles contextuels de base : ce filtre vous aide à détecter les hallucinations dans les réponses du modèle si elles ne sont pas fondées (inexactes ou ajoutent de nouvelles informations) dans la source ou si elles ne sont pas pertinentes par rapport à la requête de l'utilisateur. Par exemple, vous pouvez bloquer ou signaler les réponses dans les applications de génération augmentée par extraction (RAG). Si les réponses du modèle s'écartent des informations contenues dans la source récupérée ou ne répondent pas à la question de l'utilisateur.

Contrôles de raisonnement automatisés : ce filtre vous aide à valider la précision des réponses du modèle de base par rapport à un ensemble de règles logiques. Vous pouvez utiliser les vérifications du raisonnement automatisés pour détecter les hallucinations, suggérer des corrections et mettre en évidence les hypothèses non énoncées dans les réponses du modèle.