Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Équité, explicabilité du modèle et détection des biais avec Clarify SageMaker
Vous pouvez utiliser Amazon SageMaker Clarify pour comprendre l'équité et l'explicabilité des modèles, ainsi que pour expliquer et détecter les biais dans vos modèles. Vous pouvez configurer une tâche de traitement SageMaker Clarify pour calculer les métriques de biais et les attributions de fonctionnalités et générer des rapports pour expliquer le modèle. SageMaker Les tâches de traitement Clarify sont implémentées à l'aide d'une image de conteneur SageMaker Clarify spécialisée. La page suivante décrit le fonctionnement de SageMaker Clarify et explique comment démarrer une analyse.
Qu’est-ce que l’équité et l’explicabilité des modèles pour les prédictions de machine learning ?
Les modèles de machine learning (ML) facilitent la prise de décisions dans des domaines tels que les services financiers, la santé, l’éducation et les ressources humaines. Les décideurs, les organismes de réglementation et les défenseurs des droits ont sensibilisé le public aux défis éthiques et stratégiques posés par le machine learning et les systèmes orientés données. Amazon SageMaker Clarify peut vous aider à comprendre pourquoi votre modèle de machine learning a fait une prédiction spécifique et si ce biais a un impact sur cette prédiction pendant l'entraînement ou l'inférence. SageMaker Clarify fournit également des outils qui peuvent vous aider à créer des modèles d'apprentissage automatique moins biaisés et plus compréhensibles. SageMaker Clarify peut également générer des modèles de rapports de gouvernance que vous pouvez fournir aux équipes chargées des risques et de la conformité et aux régulateurs externes. Avec SageMaker Clarify, vous pouvez effectuer les opérations suivantes :
-
Détecter les biais et contribuer à expliquer les prédictions de votre modèle.
-
Identifier les types de biais dans les données de pré-entraînement.
-
Identifier les types de biais dans les données de post-entraînement, qui peuvent émerger pendant l’entraînement ou lorsque votre modèle est en production.
SageMaker Clarify permet d'expliquer comment vos modèles font des prédictions à l'aide des attributions de fonctionnalités. Il peut également surveiller les modèles d’inférence présents en production afin de détecter les biais et les dérives d’attribution de caractéristiques. Ces informations peuvent vous aider dans les domaines suivants :
-
Réglementation : les décideurs politiques et autres régulateurs peuvent s’inquiéter des effets discriminatoires des décisions qui s’appuient sur la sortie des modèles ML. Par exemple, un modèle ML peut coder des biais et influencer une décision automatisée.
-
Affaires : des domaines réglementés peuvent avoir besoin d’explications fiables sur la façon dont les modèles ML réalisent des prédictions. L’explicabilité des modèles peut être particulièrement importante dans les secteurs qui dépendent de la fiabilité, de la sécurité et de la conformité. Il peut s’agir notamment des secteurs des services financiers, des ressources humaines, de la santé et des transports automatisés. Par exemple, les demandes de prêt doivent parfois expliquer aux agents de crédit, aux prévisionnistes et aux clients comment les modèles de machine learning ont réalisé certaines prédictions.
-
Science des données : les scientifiques des données et les ingénieurs ML peuvent déboguer et améliorer les modèles ML lorsqu’ils peuvent déterminer si un modèle réalise des inférences basées sur des caractéristiques non pertinentes ou comportant du bruit. Ils peuvent également comprendre les limites de leurs modèles et les modes de défaillance auxquels ils peuvent être confrontés.
Pour un article de blog expliquant comment concevoir et créer un modèle d'apprentissage automatique complet pour les réclamations automobiles frauduleuses qui intègre SageMaker Clarify dans un pipeline d' SageMaker IA, consultez l'architecte et créez le cycle de vie complet de l'apprentissage automatique avec AWS : une démo end-to-end Amazon SageMaker AI
Bonnes pratiques d’évaluation de l’équité et de l’explicabilité dans le cycle de vie ML
Équité en tant que processus : les notions de biais et d’équité dépendent de leur application. La mesure des biais et le choix des indicateurs de biais peuvent être guidés par des considérations sociales, juridiques et d’autres considérations non techniques. L’adoption réussie d’approches ML respectueuses de l’équité passe par l’établissement d’un consensus et la mise en place d’une collaboration entre les principales parties prenantes. Il peut s'agir de produits, de politiques, de services juridiques, d'ingénierie, d' AI/ML équipes, d'utilisateurs finaux et de communautés.
Équité et explicabilité dès la conception dans le cycle de vie ML : tenez compte de l’équité et de l’explicabilité à chaque phase du cycle de vie ML. Ces phases incluent l’entraînement du problème, la construction du jeu de données, la sélection de l’algorithme, le processus d’entraînement des modèles, le processus de test, le déploiement, la surveillance et la rétroaction. Il est indispensable de disposer des bons outils pour réaliser cette analyse. Nous vous recommandons de vous poser les questions suivantes au cours du cycle de vie ML :
-
Le modèle encourage-t-il les boucles de rétroaction qui peuvent produire des résultats de plus en plus injustes ?
-
Un algorithme est-il une solution éthique au problème ?
-
Les données d’entraînement sont-elles représentatives de différents groupes ?
-
Y a-t-il des biais dans les étiquettes ou les caractéristiques ?
-
Les données doivent-elles être modifiées pour atténuer les biais ?
-
Les contraintes d’équité doivent-elles être incluses dans la fonction objective ?
-
Le modèle a-t-il été évalué à l’aide de métriques d’équité pertinentes ?
-
Y a-t-il des effets inégaux entre les utilisateurs ?
-
Le modèle est-il déployé sur une population pour laquelle il n’a pas été entraîné ou évalué ?
Guide des explications sur l' SageMaker IA et de la documentation sur les biais
Des biais peuvent apparaître et être mesurés dans les données avant et après l’entraînement d’un modèle. SageMaker Clarify peut fournir des explications pour les prédictions des modèles après l'entraînement et pour les modèles déployés en production. SageMaker Clarify peut également surveiller les modèles en production pour détecter toute dérive dans leurs attributions explicatives de base et calculer des bases de référence si nécessaire. La documentation permettant d'expliquer et de détecter les biais à l'aide de SageMaker Clarify est structurée comme suit :
-
Pour en savoir plus sur la configuration d’une tâche de traitement des biais et de l’explicabilité, consultez Configurer un Job de traitement SageMaker Clarify.
-
Pour en avoir plus sur la détection des biais dans les données de pré-traitement avant leur utilisation pour entraîner un modèle, consultez Biais des données de pré-entraînement.
-
Pour en savoir plus sur la détection des biais dans les données de post-entraînement et le modèle, consultez Biais de post-entraînement dans les données et les modèles.
-
Pour en savoir plus sur l’approche d’attribution de caractéristiques indépendante du modèle pour expliquer les prédictions du modèle après l’entraînement, consultez Explicabilité du modèle.
-
Pour obtenir des informations sur la surveillance de la dérive des contributions des caractéristiques par rapport à la référence établie lors de l’entraînement des modèles, consultez Dérive d’attribution de caractéristiques pour les modèles en production.
-
Pour en savoir plus sur la surveillance des modèles en cours de production en vue de déterminer la dérive de la référence, consultez Dérive de biais pour les modèles en production.
-
Pour plus d'informations sur l'obtention d'explications en temps réel à partir d'un point de terminaison d' SageMaker IA, consultezExplicabilité en ligne avec Clarify SageMaker .
Comment fonctionnent les tâches SageMaker Clarify Processing
Vous pouvez utiliser SageMaker Clarify pour analyser vos ensembles de données et modèles afin de déterminer s'ils sont explicables et biaisés. Une tâche de traitement SageMaker Clarify utilise le conteneur de traitement SageMaker Clarify pour interagir avec un compartiment Amazon S3 contenant vos ensembles de données d'entrée. Vous pouvez également utiliser SageMaker Clarify pour analyser un modèle client déployé sur un point de terminaison d'inférence SageMaker basé sur l'IA.
Le graphique suivant montre comment une tâche de traitement SageMaker Clarify interagit avec vos données d'entrée et, éventuellement, avec un modèle client. Cette interaction dépend du type spécifique d'analyse effectué. Le conteneur de traitement SageMaker Clarify obtient le jeu de données en entrée et la configuration pour l'analyse à partir d'un compartiment S3. Pour certains types d'analyse, notamment l'analyse des caractéristiques, le conteneur de traitement SageMaker Clarify doit envoyer des demandes au conteneur du modèle. Il récupère ensuite les prédictions de modèle à partir de la réponse envoyée par le conteneur de modèle. Ensuite, le conteneur de traitement SageMaker Clarify calcule et enregistre les résultats de l'analyse dans le compartiment S3.
Vous pouvez exécuter une tâche de traitement SageMaker Clarify à plusieurs étapes du cycle de vie du flux de travail d'apprentissage automatique. SageMaker Clarify peut vous aider à calculer les types d'analyse suivants :
-
Les indicateurs de biais de pré-entraînement. Ces métriques peuvent vous aider à comprendre les biais figurant dans vos données afin de pouvoir y remédier et entraîner votre modèle sur un jeu de données plus juste. Consultez Indicateurs de biais de pré-entraînement pour en savoir plus sur les indicateurs de biais de pré-entraînement. Pour exécuter une tâche d’analyse des indicateurs de biais de pré-entraînement, vous devez fournir le jeu de données et un fichier de configuration d’analyse JSON à Fichiers de configuration d’analyse.
-
Les indicateurs de biais de post-entraînement. Ces métriques peuvent vous aider à comprendre tout biais introduit par un algorithme, les choix d’hyperparamètres ou tout biais qui n’était pas apparent plus tôt dans le flux. Pour plus d'informations sur les mesures de biais après l'entraînement, voirIndicateurs de biais de post-entraînement dans les données et les modèles. SageMaker Clarify utilise les prédictions du modèle en plus des données et des étiquettes pour identifier les biais. Pour exécuter une tâche d'analyse des métriques de biais de post-entraînement, vous devez fournir le jeu de données et un fichier de configuration d'analyse JSON. La configuration doit inclure le nom du modèle ou du point de terminaison.
-
Les valeurs de Shapley, qui peuvent vous aider à comprendre l’impact de votre caractéristique sur ce que votre modèle prédit. Pour plus d’informations sur les valeurs de Shapley, consultez Attributions de fonctions utilisant des valeurs de Shapley. Cette fonctionnalité nécessite un modèle entraîné.
-
Des diagrammes de dépendance partielle (PDPs), qui peuvent vous aider à comprendre dans quelle mesure votre variable cible prévue changerait si vous faisiez varier la valeur d'une entité. Pour plus d'informations PDPs, voir Tracés de dépendance partielle (PDPs) Analyse Cette fonctionnalité nécessite un modèle entraîné.
SageMaker Clarifier les besoins, modéliser les prédictions pour calculer les mesures de biais et les attributions de fonctionnalités après l'entraînement. Vous pouvez fournir un point de terminaison ou SageMaker Clarify créera un point de terminaison éphémère en utilisant le nom de votre modèle, également appelé point de terminaison fantôme. Le conteneur SageMaker Clarify supprime le point de terminaison fantôme une fois les calculs terminés. À un niveau élevé, le conteneur SageMaker Clarify effectue les étapes suivantes :
-
Il valide les entrées et les paramètres.
-
Il crée le point de terminaison miroir (si un nom de modèle est fourni).
-
Il charge le jeu de données en entrée dans un bloc de données.
-
Il obtient des prédictions de modèle à partir du point de terminaison, si nécessaire.
-
Il calcule les métriques de biais et les attributions de fonctionnalités.
-
Il supprime le point de terminaison miroir.
-
Il génère les résultats d'analyse.
Une fois la tâche de traitement SageMaker Clarify terminée, les résultats de l'analyse sont enregistrés à l'emplacement de sortie que vous avez spécifié dans le paramètre de sortie de traitement de la tâche. Ces résultats incluent un fichier JSON contenant les métriques de biais et les attributions de fonctionnalités globales, un rapport visuel et des fichiers supplémentaires pour les attributions de fonctionnalités locales. Vous pouvez télécharger ces résultats depuis l’emplacement de sortie et les consulter.
Pour plus d'informations sur les mesures de biais, l'explicabilité et leur interprétation, consultez Découvrez comment Amazon SageMaker Clarify aide à détecter les biais
Exemples de blocs-notes
Les sections suivantes contiennent des blocs-notes destinés à vous aider à commencer à utiliser SageMaker Clarify, à l'utiliser pour des tâches spéciales, notamment dans le cadre d'une tâche distribuée, et pour la vision par ordinateur.
Prise en main
Les exemples de blocs-notes suivants montrent comment utiliser SageMaker Clarify pour démarrer avec les tâches d'explicabilité et de biais du modèle. Ces tâches incluent la création d’une tâche de traitement, l’entraînement d’un modèle de machine learning (ML) et la surveillance des prédictions modélisées :
-
Explicabilité et détection des biais avec Amazon SageMaker Clarify : utilisez Clarify
pour créer une tâche de traitement SageMaker afin de détecter les biais et d'expliquer les prédictions du modèle. -
Surveillance de la dérive des biais et de la dérive d'attribution des fonctionnalités Amazon SageMaker Clarify
— Utilisez Amazon SageMaker Model Monitor pour surveiller la dérive des biais et la dérive de l'attribution des fonctionnalités au fil du temps. -
Comment lire un ensemble de données au format JSON Lines
dans une tâche de traitement SageMaker Clarify. -
Atténuez les biais, entraînez un autre modèle impartial et placez-le dans le registre des modèles
: utilisez la technique de suréchantillonnage des minorités synthétiques (SMOTE) et SageMaker clarifiez pour atténuer les biais, entraînez un autre modèle, puis insérez le nouveau modèle dans le registre des modèles. Cet exemple de bloc-notes montre également comment placer les nouveaux artefacts du modèle, notamment les données, le code et les métadonnées du modèle, dans le registre de modèles. Ce carnet fait partie d'une série qui montre comment intégrer SageMaker Clarify dans un pipeline d' SageMaker IA décrit dans l'Architecte et comment créer le cycle de vie complet de l'apprentissage automatique avec un article de AWS blog.
Cas spéciaux
Les carnets suivants vous montrent comment utiliser un SageMaker Clarify dans des cas particuliers, notamment dans votre propre conteneur et pour les tâches de traitement du langage naturel :
-
Équité et explicabilité avec SageMaker Clarify (apportez votre propre conteneur)
— Créez votre propre modèle et conteneur qui peuvent s'intégrer à SageMaker Clarify pour mesurer les biais et générer un rapport d'analyse d'explicabilité. Cet exemple de bloc-notes présente également les termes clés et vous montre comment accéder au rapport via SageMaker Studio Classic. -
Équité et explicabilité avec le traitement distribué SageMaker Clarify Spark
: utilisez le traitement distribué pour exécuter une tâche SageMaker Clarify qui mesure le biais d'un ensemble de données avant l'entraînement et le biais d'un modèle après l'entraînement. Cet exemple de bloc-notes explique également comment obtenir une explication de l'importance des fonctionnalités d'entrée sur la sortie du modèle et comment accéder au rapport d'analyse d'explicabilité via SageMaker Studio Classic. -
Explicabilité avec SageMaker Clarify - Graphiques de dépendance partielle (PDP)
— Utilisez SageMaker Clarify pour générer PDPs et accéder à un rapport d'explicabilité du modèle. -
Explication de l'analyse des sentiments du texte à l'aide SageMaker de l'explicabilité du traitement du langage naturel (NLP)
Clarify — Utilisez SageMaker Clarify pour l'analyse des sentiments du texte. -
Utilisation de l’explicabilité de la vision par ordinateur pour la classification d’images
et la détection d’objet .
Il a été vérifié que ces blocs-notes fonctionnent dans Amazon SageMaker Studio Classic. Pour obtenir des instructions sur l’ouverture d’un bloc-notes dans Studio Classic, consultez Création ou ouverture d'un bloc-notes Amazon SageMaker Studio Classic. Si vous êtes invité à choisir un noyau, choisissez Python 3 (Science des données).
