Évaluer vos tâches d’entraînement personnalisées

Une recette d’évaluation est un fichier de configuration YAML qui définit la manière dont votre tâche d’évaluation des modèles Amazon Nova est exécutée. Grâce à cette recette, vous pouvez évaluer les performances d’un modèle de base ou entraîné par rapport à des benchmarks courants ou à vos propres jeux de données personnalisés. Les métriques peuvent être stockées dans Amazon S3 ou TensorBoard. L’évaluation fournit des métriques quantitatives qui vous aident à évaluer les performances du modèle dans diverses tâches afin de déterminer si une personnalisation supplémentaire est nécessaire.

L’évaluation des modèles est un processus hors ligne, dans lequel les modèles sont testés par rapport à des benchmarks fixes avec des réponses prédéfinies. Ils ne sont pas évalués en temps réel ou par rapport aux interactions des utilisateurs en direct. Pour les évaluations en temps réel, vous pouvez évaluer le modèle après son déploiement sur Amazon Bedrock en appelant les API d’exécution Amazon Bedrock.

Pour obtenir des instructions détaillées sur l’évaluation de vos modèles Amazon Nova entraînés, veuillez consulter la section Évaluation de votre modèle entraîné du guide d’utilisation SageMaker.