Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillance de la qualité des données et des modèles avec Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor surveille la qualité des modèles d'apprentissage automatique Amazon SageMaker AI en production. Model Monitor vous permet de configurer les éléments suivants :
-
Surveillance continue avec un point de terminaison en temps réel.
-
Surveillance continue avec une tâche de transformation par lots exécutée régulièrement.
-
Surveillance planifiée des tâches de transformation par lots asynchrones.
Avec Model Monitor, vous pouvez définir des alertes d’avertissement en cas d’écarts dans la qualité du modèle. La détection précoce et proactive de ces écarts vous permet de prendre des mesures correctives. Vous pouvez prendre des mesures comme le ré-entraînement des modèles, l’audit des systèmes en amont ou la résolution des problèmes de qualité sans avoir à surveiller manuellement les modèles ou à générer des outils supplémentaires. Vous pouvez utiliser des fonctionnalités de surveillance préconçues de Model Monitor qui ne nécessitent pas de codage. Vous avez également la possibilité de contrôler les modèles par codage afin de fournir une analyse personnalisée.
Model Monitor fournit les types de surveillance suivants :
-
Qualité des données - Surveillance d'écarts dans la qualité des données.
-
Qualité des modèles - Surveillance d’écarts dans les métriques de qualité du modèle, la précision par exemple.
-
Dérive de biais pour les modèles en production - Surveillance du biais dans les prédictions de votre modèle.
-
Dérive d’attribution de caractéristiques pour les modèles en production : surveillez la dérive d’attribution de caractéristiques.
Rubriques
Comment fonctionne Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor surveille automatiquement les modèles d'apprentissage automatique (ML) en production et vous avertit en cas de problème de qualité. Model Monitor utilise des règles pour détecter les écarts dans vos modèles et vous en avertit le cas échéant. La figure suivante montre comment ce processus fonctionne dans le cas où votre modèle est déployé sur un point de terminaison en temps réel.
Vous pouvez également utiliser Model Monitor pour surveiller une tâche de transformation par lots plutôt qu’un point de terminaison en temps réel. Dans ce cas, au lieu de recevoir des demandes vers un point de terminaison et de suivre les prédictions, Model Monitor surveille les entrées et les sorties d’inférence. La figure suivante illustre le processus de surveillance d’une tâche de transformation par lots.
Pour activer la surveillance de modèle, procédez comme suit. Ces étapes suivent le cheminement des données à travers les différents processus de collecte, de surveillance et d’analyse des données.
-
Pour un point de terminaison en temps réel, activez le point de terminaison pour qu’il capture les données issues des requêtes entrantes dans un modèle ML entraîné et les prédictions de modèle résultantes.
-
Pour une tâche de transformation par lots, activez la capture des données des entrées et des sorties de transformation par lots.
-
Créez une référence à partir du jeu de données utilisé pour entraîner le modèle. La référence calcule les métriques et suggère des contraintes pour les métriques. Les prédictions en temps réel ou par lots réalisées à partir de votre modèle sont comparées aux contraintes. Elles sont signalées comme des violations si elles se situent hors des valeurs contraintes.
-
Créez un programme de surveillance spécifiant les données à collecter, la fréquence de collecte, la méthode d’analyse et les rapports à produire.
-
Examinez les rapports, qui comparent les données les plus récentes à la référence. Surveillez les violations signalées, les statistiques et les notifications d'Amazon CloudWatch.
Remarques
-
Model Monitor calcule les mesures et les statistiques du modèle uniquement sur des données tabulaires. Par exemple, un modèle de classification d'images qui prend des images en tant qu'entrée et génère une étiquette basée sur ces images en sortie peut toujours être surveillé. Model Monitor serait capable de calculer des mesures et des statistiques pour la sortie, et non pour l'entrée.
-
Model Monitor prend actuellement en charge uniquement les points de terminaison qui hébergent un seul modèle, pas les points de terminaison multimodèle. Pour plus d’informations sur l’utilisation des points de terminaison multimodèles, consultez Points de terminaison multimodèles.
-
Model Monitor prend en charge la surveillance des pipelines d’inférence. Toutefois, la capture et l’analyse des données sont effectuées pour l’ensemble du pipeline, et non pour les conteneurs individuels du pipeline.
-
Pour éviter tout impact sur les requêtes d’inférence, Data Capture cesse de capturer les requêtes à des niveaux élevés d’utilisation du disque. Nous vous recommandons de maintenir l’utilisation du disque en dessous de 75 % pour que la capture des données continue de capturer les demandes.
-
Si vous lancez SageMaker Studio dans un Amazon VPC personnalisé, vous devez créer des points de terminaison VPC pour permettre à Model Monitor de communiquer avec Amazon S3 et. CloudWatch Pour plus d’informations sur les points de terminaison d’un VPC, consultez Points de terminaison d’un VPC dans le Guide de l’utilisateur Amazon Virtual Private Cloud. Pour plus d'informations sur le lancement de SageMaker Studio dans un VPC personnalisé, consultez. Connexion des blocs-notes Studio d’un VPC à des ressources externes
Exemples de blocs-notes Model Monitor
Pour un exemple de bloc-notes qui vous explique le end-to-end flux de travail à l'aide de Model Monitor avec votre point de terminaison en temps réel, consultez Introduction à Amazon SageMaker Model Monitor
Pour obtenir un exemple de bloc-notes qui visualise le fichier statistics.json correspondant à une exécution sélectionnée dans un programme de surveillance, consultez Model Monitor Visualization
Pour obtenir des instructions sur la création et l'accès à des instances de bloc-notes Jupyter que vous pouvez utiliser pour exécuter l'exemple dans SageMaker AI, consultez. Instances de SageMaker blocs-notes Amazon Après avoir créé une instance de bloc-notes et l'avoir ouverte, choisissez l'onglet Exemples d'SageMaker IA pour voir la liste de tous les exemples d' SageMaker IA. Pour ouvrir un bloc-notes, choisissez l’onglet de bloc-notes Utiliser, puis Créer une copie.
