Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Clarifier le changement de disponibilité

AWS-solutions de surveillance publiées, mesures de biais standardisées, évaluations SHAP et Amazon Bedrock

La combinaison des solutions de surveillance de l' SageMaker IA open source AWS publiées, du calcul de base des mesures de biais standardisées des rapports Clarify, de la bibliothèque SHAP sur laquelle SageMaker Clarify est construit, d'Amazon SageMaker AI MLflow, d'Amazon, d'Amazon CloudWatch et d'Amazon QuickSight Bedrock Evaluations remplace Amazon Clarify. SageMaker Ce guide fournit les informations suivantes :

Supprimer Clarify

Interrompre les tâches de traitement Clarify pour de nouvelles analyses

Si votre flux de travail inclut l'exécution de SageMaker Clarify Processing Jobs à l'aide de la SageMakerClarifyProcessor classe, des clarify.SHAPConfig configurations clarify.BiasConfigrun_bias()/ou des run_explainability() méthodes/du SDK SageMaker Python, passez aux alternatives décrites dans la section Configuration des remplacements ci-dessous.

Supprimer ou conserver les artefacts de sortie Clarify (facultatif)

Clarify Processing Jobs stocke les artefacts de sortie dans Amazon S3 :

Si vous devez les conserver à des fins de conformité, de pistes d'audit réglementaires ou de référence historique, laissez-les dans S3 ou archivez-les dans S3 Glacier. S'ils ne sont plus nécessaires, supprimez le préfixe S3.

Supprimer Clarify des SageMaker pipelines (si utilisé)

Si vous avez des SageMaker pipelines avec ClarifyCheckStep Clarify ou des ProcessingStep étapes qui invoquent Clarify, remplacez-les par un ProcessingStep qui exécute le calcul métrique standardisé et SHAP, en suivant le même schéma que les solutions de référence AWS publiées utilisent dans SageMaker Pipelines (voir Configuration des remplacements ci-dessous).

Configuration des remplacements

Le chemin de remplacement calcule les métriques de biais standardisées directement avec Pandas et Scikit-learn, et calcule l'attribution des caractéristiques avec SHAP (le même moteur que Clarify utilise). Vous les exécutez dans les solutions de référence et les SageMaker pipelines AWS publiés, en enregistrant les résultats dans une application SageMaker AI MLflow afin que vos résultats de biais et d'explicabilité aient le même lignage, le même versionnage et la même gouvernance que ceux de vos entraînements.

Remplacement de la détection des biais avant et après l'entraînement

Les indicateurs de pré-formation de Clarify sont des formules publiées et standardisées basées sur le nombre d'étiquettes et les proportions des classes. Leur calcul direct permet de simplifier le contrôle des biais, de le contrôler et de le tester par votre équipe, et de le rendre cohérent avec ce que font les solutions de référence AWS publiées dans le cadre de leurs tâches de surveillance.

Reportez-vous à la référence des métriques de biais pré-entraînement de Clarify pour connaître la formule exacte qui sous-tend chaque métrique, afin que votre implémentation corresponde à la sortie de Clarify.

Les mesures post-entraînement de Clarify sont des fonctions standardisées du nombre de matrices de confusion par groupe. En les calculant directement à partir des prévisions et de la réalité du terrain, le contrôle est simple et appartient à votre équipe, et il correspond à l'approche par segment utilisée par les solutions de référence AWS publiées pour la dérive des biais. Enregistrez les résultats par segment dans une application SageMaker AI MLflow à des fins de gouvernance et de suivi des tendances.

Reportez-vous à la référence Clarify post-training bias metrics pour connaître la formule exacte qui sous-tend chaque métrique.

Remplacement de l'explicabilité du modèle (attribution de fonctionnalités SHAP)

La bibliothèque SHAP est le même moteur qui alimente l'explicabilité de SageMaker Clarify. Son utilisation directe vous donne plus de flexibilité :

pip install shap

Pour une utilisation en production, les solutions de référence AWS publiées incluent un 6_shap_explainability.ipynb bloc-notes qui génère l'importance globale des caractéristiques, des explications de prédiction individuelles et une analyse de l'interaction des caractéristiques pour un modèle déployé, en enregistrant les résultats dans une application SageMaker AI MLflow.

Reportez-vous à la documentation SHAP pour la référence de l'API.

Remplacer la surveillance de la dérive des biais et de la dérive d'attribution des fonctionnalités

Cette approche met en œuvre les mêmes mesures standardisées (mesures d'équité calculées directement et importance des fonctionnalités SHAP) selon un calendrier, avec gouvernance, traçabilité et alertes, à l'aide des solutions de surveillance Amazon AI. SageMaker Il utilise le même QuickSight modèle EventBridge + Lambda + Athena (Iceberg) + MLflow + SNS + que le guide de migration de Model Monitor utilise pour la dérive de la qualité des données et des modèles, de sorte que la dérive de biais et la dérive d'attribution des fonctionnalités deviennent des mesures supplémentaires dans le même pipeline de gouvernance plutôt que dans un système distinct.

Évaluation du remplacement du modèle de base (LLM)

Option 1 : bibliothèque fmeval (recommandée pour les SageMaker-hosted modèles)

La fmeval bibliothèque est le même moteur d'évaluation sur lequel repose le modèle de base d'évaluation de Clarify, et elle peut être utilisée indépendamment de Clarify Processing Jobs :

pip install fmeval

La fmeval bibliothèque prend en charge : la synthèse de texte, la réponse à des questions, la classification, la génération ouverte, les connaissances factuelles, la toxicité, la robustesse (perturbations sémantiques) et l'évaluation rapide des stéréotypes. Pour une surveillance continue de la qualité LLM en cours de production sur les SageMaker terminaux, les solutions de référence LLM Inference Monitoring et LLM Quality Observability avec Grafana, AWS publiées récemment, exécutent des évaluations génératives de l'IA MLflow (sécurité, pertinence, fluence, directives, cohérence) à l'aide des modèles Amazon Bedrock.

Consultez les sections Utiliser la bibliothèque fmeval pour exécuter une évaluation automatique et Suivre l'évaluation du modèle LLM à l'aide de MLflow SageMaker géré par Amazon et de FMEval pour les étapes détaillées.

Option 2 : Amazon Bedrock Evaluations (service géré)

Amazon Bedrock Evaluations fournit une alternative gérée pour l'évaluation des modèles de base sans nécessiter de Clarify Processing Jobs :

Bedrock Evaluations prend en charge l'évaluation des modèles hébergés sur Bedrock, des modèles personnalisés et des modèles externes (y compris les déploiements sur site ou multicloud) tant que vous fournissez les données d'évaluation dans le format requis.

Consultez les sections Évaluer les performances des ressources Amazon Bedrock et Évaluer les modèles ou les systèmes RAG à l'aide d'Amazon Bedrock Evaluations pour des étapes détaillées.

Option 3 : Amazon Bedrock Guardrails (sécurité d'exécution)

Pour le filtrage du contenu d'exécution (toxicité, informations personnelles, contenu dangereux) que SageMaker Clarify évalue au moment de l'évaluation, Amazon Bedrock Guardrails fournit une protection continue à l'exécution pour les applications d'IA génératives :

Consultez la section Détecter et filtrer les contenus dangereux à l'aide d'Amazon Bedrock Guardrails pour connaître les étapes détaillées.