Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Points de contrôle dans Amazon AI SageMaker
Utilisez des points de contrôle dans Amazon SageMaker AI pour enregistrer l'état des modèles d'apprentissage automatique (ML) pendant la formation. Les points de contrôle sont des instantanés du modèle et peuvent être configurés par les fonctions de rappel de cadres ML. Vous pouvez utiliser les points de contrôle enregistrés pour redémarrer une tâche d’entraînement à partir du dernier point de contrôle enregistré.
À l’aide des points de contrôle, vous pouvez exécuter les actions suivantes :
-
Enregistrer vos instantanés de modèle en cours d’entraînement en cas d’interruption inattendue de la tâche ou de l’instance d’entraînement.
-
Reprendre l’entraînement du modèle à l’avenir à partir d’un point de contrôle.
-
Analyser le modèle aux étapes intermédiaires de l’entraînement.
-
Utiliser les points de contrôle avec S3 Express One Zone pour des vitesses d’accès accrues.
-
Utilisez les points de contrôle grâce à la formation ponctuelle gérée par l' SageMaker IA pour économiser sur les coûts de formation.
Le mécanisme de SageMaker formation utilise des conteneurs de formation sur les instances Amazon EC2, et les fichiers de points de contrôle sont enregistrés dans un répertoire local des conteneurs (par défaut). /opt/ml/checkpoints SageMaker AI fournit la fonctionnalité permettant de copier les points de contrôle du chemin local vers Amazon S3 et de synchroniser automatiquement les points de contrôle de ce répertoire avec S3. Les points de contrôle existants dans S3 sont écrits dans le conteneur SageMaker AI au début de la tâche, ce qui permet de reprendre les tâches à partir d'un point de contrôle. Les points de contrôle ajoutés au dossier S3 après le démarrage de la tâche ne sont pas copiés dans le conteneur de formation. SageMaker L'IA écrit également de nouveaux points de contrôle depuis le conteneur vers S3 pendant l'entraînement. Si un point de contrôle est supprimé dans le conteneur SageMaker AI, il sera également supprimé dans le dossier S3.
Vous pouvez utiliser des points de contrôle dans Amazon SageMaker AI avec la classe de stockage Amazon S3 Express One Zone (S3 Express One Zone) pour accéder plus rapidement aux points de contrôle. Lorsque vous activez les points de contrôle et spécifiez l’URI S3 pour votre destination de stockage des points de contrôle, vous pouvez fournir un URI S3 pour un dossier dans un compartiment S3 à usage général ou dans un compartiment de répertoires S3. Les compartiments d'annuaires S3 intégrés à l' SageMaker IA ne peuvent être chiffrés qu'avec un chiffrement côté serveur avec des clés gérées Amazon S3 (). SSE-S3 Server-side le chiffrement à l'aide de AWS KMS clés (SSE-KMS) n'est actuellement pas pris en charge. Pour plus d’informations sur S3 Express One Zone et les compartiments de répertoires S3, consultez Qu’est-ce que S3 Express One Zone ?
Si vous utilisez des points de contrôle avec un SageMaker entraînement ponctuel géré par l' SageMaker IA, l'IA gère le pointage de votre modèle d'entraînement sur une instance ponctuelle et reprend la tâche d'entraînement sur l'instance ponctuelle suivante. Grâce à la formation ponctuelle gérée par l' SageMaker IA, vous pouvez réduire de manière significative le temps facturable pour la formation des modèles ML. Pour de plus amples informations, veuillez consulter Formation ponctuelle gérée dans Amazon SageMaker AI.
Rubriques
Points de contrôle pour les frameworks et les algorithmes de l'IA SageMaker
Utilisez des points de contrôle pour enregistrer des instantanés de modèles de machine learning basés sur vos frameworks préférés au sein SageMaker de l'IA.
SageMaker Cadres et algorithmes d'IA qui prennent en charge le point de contrôle
SageMaker L'IA prend en charge le point de contrôle pour les conteneurs AWS Deep Learning et un sous-ensemble d'algorithmes intégrés sans nécessiter de modifications des scripts d'entraînement. SageMaker AI enregistre les points de contrôle sur le chemin local par défaut '/opt/ml/checkpoints' et les copie dans Amazon S3.
-
Conteneurs de Deep Learning : TensorFlow
PyTorch , MXNet et HuggingFace Note
Si vous utilisez l'estimateur HuggingFace Framework, vous devez spécifier un chemin de sortie du point de contrôle via des hyperparamètres. Pour plus d'informations, consultez la section Organiser une formation sur Amazon SageMaker AI
dans la HuggingFace documentation. -
Built-in algorithmes : classification d'images, détection d'objets, segmentation https://docs.aws.amazon.com/sagemaker/latest/dg/semantic-segmentation.html sémantique et XGBoost (0.90-1 ou version ultérieure)
Note
Si vous utilisez l’algorithme XGBoost en mode cadre (mode script), vous devez apporter un script d’entraînement XGBoost avec la création de points de reprise configurée manuellement. Pour plus d’informations sur les méthodes d’entraînement XGBoost permettant d’enregistrer des instantanés de modèle, consultez Training XGBoost
dans la documentation du kit SDK XGBoost Python.
Si un algorithme prédéfini ne prenant pas en charge les points de contrôle est utilisé dans le cadre d'une tâche de formation ponctuelle gérée, l' SageMaker IA n'autorise pas un temps d'attente maximum supérieur à une heure pour la tâche afin de limiter le temps d'entraînement perdu en raison des interruptions.
Pour les conteneurs d’entraînement personnalisés et autres cadres
Si vous utilisez vos propres conteneurs de formation, scripts de formation ou autres frameworks non répertoriés dans la section précédente, vous devez configurer correctement votre script de formation à l'aide de rappels ou d'API de formation pour enregistrer les points de contrôle dans le chemin local ('/opt/ml/checkpoints') et le charger à partir du chemin local dans votre script de formation. SageMaker Les estimateurs IA peuvent se synchroniser avec le chemin local et enregistrer les points de contrôle sur Amazon S3.
Considérations relatives à la création de points de contrôle
Tenez compte des points de contrôle suivants lorsque vous utilisez des points de contrôle dans l' SageMaker IA.
-
Pour éviter les écrasements dans l’entraînement distribué à plusieurs instances, vous devez configurer manuellement les noms et les chemins d’accès des fichiers de points de contrôle dans votre script d’entraînement. La configuration des points de contrôle SageMaker IA de haut niveau spécifie un seul emplacement Amazon S3 sans suffixes ou préfixes supplémentaires pour baliser les points de contrôle provenant de plusieurs instances.
-
Le SDK SageMaker Python ne prend pas en charge la configuration de haut niveau pour la fréquence des points de contrôle. Pour contrôler la fréquence de création de points de reprise, modifiez votre script d’entraînement à l’aide des fonctions d’enregistrement du modèle du cadre ou des rappels de points de contrôle.
-
Si vous utilisez des points de contrôle SageMaker AI avec SageMaker Debugger et SageMaker AI distributed et que vous rencontrez des problèmes, consultez les pages suivantes pour les dépannages et les considérations à prendre en compte.
