Débogage et amélioration des performances du modèle

L'essentiel de la formation de modèles d'apprentissage automatique, de réseaux de neurones d'apprentissage profond et de modèles de transformateurs réside dans la réalisation d'une convergence stable des modèles. state-of-the-art Les modèles comportent donc des millions, des milliards ou des milliards de paramètres de modèle. Le nombre d'opérations pour mettre à jour le nombre gigantesque de paramètres du modèle à chaque itération peut facilement devenir astronomique. Pour identifier les problèmes de convergence des modèles, il est important de pouvoir accéder aux paramètres du modèle, aux activations et aux gradients calculés lors des processus d'optimisation.

Amazon SageMaker AI fournit deux outils de débogage pour aider à identifier ces problèmes de convergence et à gagner en visibilité sur vos modèles.

Amazon SageMaker AI avec TensorBoard

Pour offrir une meilleure compatibilité avec les outils communautaires open source de la plateforme de formation SageMaker AI, AI héberge en TensorBoard tant qu'application dans SageMaker le domaine de l' SageMaker IA. Vous pouvez intégrer vos tâches de formation à l' SageMaker IA et continuer à utiliser le rédacteur de TensorBoard résumés pour collecter les tenseurs de sortie du modèle. Parce qu'il TensorBoard est implémenté dans le domaine SageMaker AI, il vous offre également plus d'options pour gérer les profils d'utilisateurs dans le domaine SageMaker AI de votre AWS compte, et fournit un contrôle précis sur les profils d'utilisateurs en accordant l'accès à des actions et à des ressources spécifiques. Pour en savoir plus, consultez TensorBoard dans Amazon SageMaker AI.

SageMaker Débogueur Amazon

Amazon SageMaker Debugger est une fonctionnalité d' SageMaker intelligence artificielle qui fournit des outils permettant d'enregistrer des liens vers des rappels afin d'extraire les tenseurs de sortie du modèle et de les enregistrer dans Amazon Simple Storage Service. Il fournit des règles intégrées pour détecter les problèmes de convergence des modèles, tels que le surajustement, les fonctions d'activation saturées, la disparition des gradients, etc. Vous pouvez également configurer les règles intégrées avec Amazon CloudWatch Events et AWS Lambda pour prendre des mesures automatisées en cas de problèmes détectés, et configurer Amazon Simple Notification Service pour recevoir des notifications par e-mail ou par SMS. Pour en savoir plus, consultez SageMaker Débogueur Amazon.