Analyse des résultats d’une tâche de personnalisation de modèles - Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Analyse des résultats d’une tâche de personnalisation de modèles

Lorsque la tâche de personnalisation de votre modèle est terminée, vous pouvez analyser les résultats du processus de personnalisation. Les artefacts suivants sont chargés dans le compartiment S3 que vous spécifiez lors de la création de votre tâche de personnalisation du modèle :

  • Mesures de formation et de validation : Amazon Bedrock fournit des indicateurs de formation pour toutes les tâches de personnalisation de modèles. Les métriques de validation sont également incluses dans certaines tâches de personnalisation du modèle.

  • Données synthétiques (distillation de modèles uniquement) : exemples d’invites provenant du jeu de données synthétique généré par Amazon Bedrock à partir du modèle enseignant et utilisé pour optimiser le modèle étudiant pendant le travail de distillation. Ces informations peuvent vous aider à mieux comprendre et à valider la manière dont votre modèle personnalisé a été entraîné.

  • Analyses rapides (distillation de modèles uniquement) : rapport des invites d’entrée acceptées et rejetées (avec une explication des raisons) au cours de la distillation. Ces informations peuvent vous aider à corriger et à affiner vos invites si vous devez exécuter une autre tâche de distillation.

Amazon Bedrock stocke vos modèles personnalisés dans un espace de stockage AWS géré adapté à votre. Compte AWS

Vous pouvez évaluer le modèle en exécutant une tâche d’évaluation de modèle. Pour de plus amples informations, veuillez consulter Évaluation des performances des ressources Amazon Bedrock.

L’exemple suivant montre où vous pouvez affiner les métriques d’entraînement et de validation dans un compartiment S3 :

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Utilisez les fichiers step_wise_training_metrics.csv et validation_metrics.csv pour analyser la tâche de personnalisation du modèle et pour vous aider à affiner ce dernier si nécessaire.

Les colonnes du fichier step_wise_training_metrics.csv sont les suivantes.

  • step_number : étape du processus de formation. Commence à 0.

  • epoch_number : époque du processus de formation.

  • training_loss : indique dans quelle mesure le modèle s’adapte aux données d’entraînement. Une valeur faible indique un meilleur ajustement.

  • perplexity : indique dans quelle mesure le modèle peut prédire une séquence de jetons. Plus la valeur est petite et meilleure est la capacité prédictive.

Les colonnes du fichier validation_metrics.csv sont les mêmes que celles du fichier d’apprentissage, à l’exception de validation_loss (dans quelle mesure le modèle s’adapte aux données de validation) qui apparaît à la place de training_loss.

Vous pouvez trouver les fichiers de sortie en ouvrant directement le fichier https://console.aws.amazon.com/s3 ou en trouvant le lien vers le dossier de sortie dans les détails de votre modèle. Choisissez l’onglet correspondant à votre méthode préférée, puis suivez les étapes :

Console

  1. Connectez-vous au AWS Management Console avec une identité IAM autorisée à utiliser la console Amazon Bedrock. Ouvrez ensuite la console Amazon Bedrock à l'adresse https://console.aws.amazon.com/bedrock.

  2. Dans le volet de navigation de gauche, choisissez Modèles personnalisés sous Régler.

  3. Sous l’onglet Modèles, sélectionnez un modèle pour afficher ses détails. Le nom du Job se trouve dans la section Détails du modèle.

  4. Pour afficher les fichiers S3 de sortie, sélectionnez Emplacement S3 dans la section Données de sortie.

  5. Recherchez les fichiers de métriques d’entraînement et de validation dans le dossier dont le nom correspond au nom de tâche du modèle.

API

Pour répertorier les informations relatives à tous vos modèles personnalisés, envoyez une demande ListCustomModels(voir le lien pour les formats de demande et de réponse et les détails des champs) avec un point de terminaison du plan de contrôle Amazon Bedrock. Reportez-vous à ListCustomModelsla section pour connaître les filtres que vous pouvez utiliser.

Pour répertorier toutes les balises d'un modèle personnalisé, envoyez une ListTagsForResourcedemande avec un point de terminaison du plan de contrôle Amazon Bedrock et incluez le nom de ressource Amazon (ARN) du modèle personnalisé.

Pour suivre l'état d'une tâche de personnalisation d'un modèle, envoyez une demande GetCustomModel(voir le lien pour les formats de demande et de réponse et les détails des champs) avec un point de terminaison du plan de contrôle Amazon Bedrock avec lemodelIdentifier, qui est l'un des suivants.

  • Nom que vous avez donné au modèle.

  • ARN du modèle.

Vous pouvez voir trainingMetrics et validationMetrics pour une tâche de personnalisation du modèle dans la GetCustomModelréponse GetModelCustomizationJobou.

Pour télécharger les fichiers de métriques de formation et de validation, suivez les étapes décrites dans Téléchargement d’objets. Utilisez l’URI S3 que vous avez fournie dans outputDataConfig.

Consulter des exemples de code