Synthétisation de texte pour l’évaluation des modèles dans Amazon Bedrock
Le résumé de texte est utilisé pour certaines tâches comme la création de résumés d’information, de documents juridiques, d’articles universitaires, d’aperçus de contenu et de compilation de contenu. La qualité des réponses peut être influencée par l’ambiguïté, la cohérence, le biais et la fluidité du texte ayant servir à entraîner le modèle, tout comme la perte, la précision, la pertinence ou l’inadéquation contextuelle des informations.
Important
En ce qui concerne la synthétisation de texte, un problème système connu empêche les modèles Cohere de mener à bien une évaluation de toxicité.
Le jeu de données intégré suivant est pris en charge pour l’utilisation avec les tâches de type synthétisation de texte.
- Gigaword
-
Le jeu de données Gigaword se compose de nouveaux titres d’articles d’actualités. Ce jeu de données est utilisé dans les tâches de résumé de texte.
Le tableau suivant offre un résumé des métriques calculées et du jeu de données intégré recommandé. Pour spécifier correctement les jeux de données intégrés disponibles à l’aide de l’AWS CLI ou d’un kit AWS SDK pris en charge, utilisez les noms des paramètres dans la colonne Jeux de données intégrés (API).
| Type de tâche | Métrique | Jeux de données intégrés (console) | Jeux de données intégrés (API) | Métrique calculée |
|---|---|---|---|---|
| Synthèse de texte | Précision | Gigaword |
Builtin.Gigaword |
BERTScore |
| Toxicité | Gigaword |
Builtin.Gigaword |
Toxicité | |
| Robustesse | Gigaword |
Builtin.Gigaword |
BERTScore et deltaBERTScore |
Pour en savoir plus sur le mode de calcul de la métrique pour chaque jeu de données intégré, consultez Examen des rapports et des métriques des tâches d’évaluation de modèles dans Amazon Bedrock
