Utilisation de jeux de données d’invite et de dimensions d’évaluation disponibles dans les tâches d’évaluation de modèles

Connaissances factuelles — Évalue dans quelle mesure votre modèle encode les connaissances factuelles. FMEval vous pouvez mesurer votre modèle par rapport à votre propre jeu de données personnalisé ou utiliser un ensemble de données intégré basé sur le jeu de données TREXopen source.

Robustesse sémantique : évalue dans quelle mesure la sortie de votre modèle change à la suite de petites modifications préservant la sémantique de l'entrée. FMEval mesure l'évolution de la sortie de votre modèle en raison de fautes de frappe au clavier, de modifications aléatoires en majuscules et d'ajouts ou de suppressions aléatoires d'espaces blancs.

Stéréotypage d’invite : mesure la probabilité que votre modèle présente des biais de codage dans sa réponse. Ces biais incluent ceux liés à la race, au sexe, à l'orientation sexuelle, à la religion, à l'âge, à la nationalité, au handicap, à l'apparence physique et au statut socio-économique. FMEval vous pouvez mesurer les réponses de votre modèle par rapport à votre propre jeu de données personnalisé ou utiliser un ensemble de données intégré basé sur le jeu de données CrowS-Pairsopen source dédié aux défis.

Toxicité — Évalue le texte à l'aide de modèles de détection de toxicité. FMEval vérifie votre modèle pour détecter les références sexuelles, les commentaires grossiers, déraisonnables, haineux ou agressifs, les blasphèmes, les insultes, les flirts, les attaques contre l'identité et les menaces. FMEval peut mesurer votre modèle par rapport à votre propre jeu de données personnalisé ou utiliser des ensembles de données intégrés basés sur les BOLDensembles de données RealToxicityPromptsRealToxicityPromptsChallenging, et.

RealToxicityPromptsChallenging est un sous-ensemble de RealToxicityPrompts, qui est utilisé pour tester les limites d’un grand modèle de langage (LLM). Il identifie également les zones LLMs vulnérables à la génération de texte toxique.

Vous pouvez évaluer votre modèle à l’aide des détecteurs de toxicité suivants :

Précision : score numérique indiquant la similitude entre le résumé et un résumé de référence accepté comme référence absolue. Un score numérique élevé indique que le résumé est de grande qualité. Un score numérique faible indique un résumé médiocre. Les métriques suivantes sont utilisées pour évaluer l’exactitude d’un résumé :

Toxicité : scores pour les résumés générés qui sont calculés à l’aide d’un modèle de détecteur de toxicité. Pour plus d’informations, consultez la section Toxicité de la rubrique précédente sur la tâche de génération ouverte pour plus de détails.

Robustesse sémantique : ampleur selon laquelle la qualité du résumé de texte de votre modèle change à la suite de petites modifications préservant la sémantique de l’entrée. Les exemples de ces modifications incluent les fautes de frappe, les modifications aléatoires apportées à la casse et les ajouts ou suppressions aléatoires d’espaces blancs. La robustesse sémantique utilise la différence absolue d’exactitude entre un résumé de texte non perturbé et un résumé perturbé. L’algorithme d’exactitude utilise les métriques ROUGE-N, Meteor et BERTScore, telles qu’elles ont été détaillées précédemment dans cette section.

Précision : score moyen comparant la réponse générée aux paires question-réponse données dans les références. La moyenne du score est calculée à l’aide des méthodes suivantes :

Robustesse sémantique : ampleur selon laquelle la qualité du résumé de texte de votre modèle change à la suite de petites modifications préservant la sémantique de l’entrée. Les exemples de ces modifications incluent les fautes de frappe, la conversion inexacte de nombres en mots, les modifications aléatoires apportées à la casse et les ajouts ou suppressions aléatoires d’espaces blancs. La robustesse sémantique utilise la différence absolue d’exactitude entre un résumé de texte non perturbé et un résumé perturbé. L’exactitude est mesurée à l’aide d’une correspondance exacte, d’une correspondance quasi-exacte et du score F1 moyen par mot, comme décrit précédemment.

Toxicité : les scores évaluent les réponses générées à l’aide d’un modèle de détecteur de toxicité. Pour plus d’informations, consultez la section Toxicité de la rubrique précédente sur la tâche de génération ouverte pour plus de détails.

Exactitude : score qui compare la classe prédite à son étiquette. L’exactitude est mesurée à l’aide des métriques suivantes :

Robustesse sémantique : évalue dans quelle mesure la sortie de votre modèle change à la suite de petites modifications préservant la sémantique de l'entrée. FMEval mesure le résultat de votre modèle à la suite de fautes de frappe au clavier, de modifications aléatoires de majuscules et d'ajouts ou de suppressions aléatoires d'espaces blancs. La robustesse sémantique attribue un score à la différence absolue d’exactitude entre un résumé de texte non perturbé et un résumé perturbé.

(Comparatif) Échelle de Likert – comparaison : un évaluateur humain indiquera sa préférence entre deux réponses sur une échelle de Likert à 5 points, en fonction de vos instructions. Dans le rapport final, les résultats seront présentés sous la forme d’un histogramme des degrés de préférence sur l’ensemble de votre jeu de données. Définissez les points importants de l’échelle à 5 points dans vos instructions, de sorte que vos évaluateurs sachent comment évaluer les réponses en fonction de vos attentes.

(Comparatif) Boutons de choix : permet à un évaluateur humain d’indiquer une réponse préférée par rapport à une autre à l’aide de cases d’option, conformément à vos instructions. Les résultats du rapport final se présentent sous la forme d’un pourcentage de réponses que les employés ont préférées pour chaque modèle. Expliquez clairement votre méthode d’évaluation dans les instructions.

(Comparatif) Classement ordinal : permet à un évaluateur humain de classer les réponses à une invite par ordre de préférence, en partant de 1, conformément à vos instructions. Dans le rapport final, les résultats se présentent sous la forme d’un histogramme des classements des évaluateurs pour l’ensemble du jeu de données. Veillez à définir la signification d’un classement de 1 dans vos instructions.

(Individuel) Pouce vers le haut/vers le bas : permet à un évaluateur humain d’évaluer chaque réponse d’un modèle comme acceptable ou inacceptable, conformément à vos instructions. Dans le rapport final, les résultats montrent un pourcentage du nombre total d’évaluations approuvées (pouce vers le haut) par les évaluateurs, pour chaque modèle. Vous pouvez utiliser cette méthode d’évaluation pour évaluer un ou plusieurs modèles. Si vous l’utilisez pour une évaluation qui compte deux modèles, l’interface utilisateur propose à votre équipe de travail une option pouce vers le haut ou vers le bas pour chaque réponse de modèle. Le rapport final présentera les résultats agrégés pour chaque modèle individuellement. Définissez ce qui constitue une réponse acceptable dans les instructions que vous donnez à votre équipe de travail.

(Individuel) Échelle de Likert – individuelle : permet à un évaluateur humain d’indiquer dans quelle mesure il approuve la réponse du modèle, en fonction de vos instructions, sur une échelle de Likert à 5 points. Dans le rapport final, les résultats se présentent sous la forme d’un histogramme des classements à 5 points des évaluateurs pour l’ensemble du jeu de données. Vous pouvez utiliser cette méthode d’évaluation pour évaluer un ou plusieurs modèles. Si vous choisissez cette méthode d’évaluation pour une évaluation qui compte plusieurs modèles, une échelle de Likert à 5 points est présentée à votre équipe de travail pour chaque réponse de modèle. Le rapport final présentera les résultats agrégés pour chaque modèle individuellement. Définissez les points importants de l’échelle à 5 points dans vos instructions, de sorte que vos évaluateurs sachent comment évaluer les réponses en fonction de vos attentes.