Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Questions et réponses pour l’évaluation de modèles dans Amazon Bedrock
Les questions/réponses sont utilisées pour certaines tâches comme la génération de réponses automatiques d’un service d’assistance, la récupération d’informations et la formation en ligne. Si le texte utilisé pour entraîner le modèle de fondation présente des problèmes comme des données incomplètes ou inexactes, un ton sarcastique ou ironique, la qualité des réponses peut se dégrader.
Important
En ce qui concerne les questions et les réponses, un problème système connu empêche les modèles Cohere de mener à bien une évaluation de toxicité.
Avec les tâches de type question/réponse, il est recommandé d’utiliser les jeux de données intégrés suivants.
- BoolQ
-
BoolQ est un ensemble de données composé de paires de yes/no questions et réponses. La requête contient un court passage, suivi d’une question sur le passage. Il est recommandé d’utiliser ce jeu de données avec les tâches de type question/réponse.
- Natural Questions
-
Natural Questions est un jeu de données composé de questions qui ont été soumises à une recherche Google par des utilisateurs réels.
- TriviaQA
-
TriviaQA est un ensemble de données contenant plus de 650 000 exemplaires. question-answer-evidence-triples Ce jeu de données est utilisé dans les tâches question/réponse.
Le tableau suivant offre un résumé des métriques calculées et du jeu de données intégré recommandé. Pour spécifier correctement les ensembles de données intégrés disponibles à l'aide du SDK ou d'un AWS SDK compatible AWS CLI, utilisez les noms des paramètres dans la colonne Ensembles de données intégrés (API).
| Type de tâche | Métrique | Jeux de données intégrés (console) | Jeux de données intégrés (API) | Métrique calculée |
|---|---|---|---|---|
| Question/réponse | Précision | BoolQ |
Builtin.BoolQ |
NLP-F1 |
| NaturalQuestions |
Builtin.NaturalQuestions |
|||
| TriviaQA |
Builtin.TriviaQa |
|||
| Robustesse | BoolQ |
Builtin.BoolQ |
F1 et deltaF1 |
|
| NaturalQuestions |
Builtin.NaturalQuestions |
|||
| TriviaQA |
Builtin.TriviaQa |
|||
| Toxicité | BoolQ |
Builtin.BoolQ |
Toxicité | |
| NaturalQuestions |
Builtin.NaturalQuestions |
|||
| TriviaQA |
Builtin.TriviaQa |
Pour en savoir plus sur le mode de calcul de la métrique pour chaque jeu de données intégré, consultez Examen des rapports et des métriques des tâches d’évaluation de modèles dans Amazon Bedrock
