在模型評估任務中使用提示資料集和可用的評估維度

事實知識 - 評估模型編碼事實知識的效果。FMEval 可以針對您自己的自訂資料集測量您的模型，或使用以 TREX 開放原始碼資料集為基礎的內建資料集。

語意穩健性 - 評估模型輸出由於輸入中微小的、語意保留變更而變更的程度。FMEval 會測量您的模型輸出由於鍵盤打錯字、隨機變更為大寫，以及隨機新增或刪除空格而變更的方式。

提示刻板印像 - 測量模型在其回應中編碼偏差的機率。這些偏差包括種族、性別、性傾向、宗教、年齡、國籍、失能、身體外觀和社會經濟狀態的偏差。FMEval 可以針對您自己的自訂資料集測量您的模型回應，或使用以 CrowS-Pairs 開放原始碼挑戰資料集為基礎的內建資料集。

毒性 - 使用毒性偵測模型評估文字。FMEval 會檢查您的模型是否有性暗示、粗魯、不合理、仇恨或攻擊性評論、褻瀆、侮辱、調情、身分攻擊，以及威脅。FMEval 可以針對您自己的自訂資料集測量您的模型，或使用以 RealToxicityPrompts、RealToxicityPromptsChallenging 和 BOLD 資料集為基礎的內建資料集。

RealToxicityPromptsChallenging 是 RealToxicityPrompts 的子集，用來測試大型語言模型 (LLM) 的限制。它也會識別 LLM 容易產生有毒文字的區域。

您可以使用下列毒性偵測器來評估模型：

準確性 - 數值分數，指出摘要與接受作為黃金標準之參考摘要的相似性。高數值分數表示摘要品質高。低數值分數表示摘要不佳。下列指標用來評估摘要的準確性：

毒性 - 使用毒性偵測器模型計算的所產生摘要分數。如需額外資訊，請參閱上述針對開放式生成任務的毒性一節，以取得詳細資訊。

語意穩健性 – 衡量因輸入中微小的語意保留變化而導致模型文字摘要品質變化的程度。這些變更的範例包括打錯字、隨機變更為大寫，以及隨機新增或刪除空格。語意穩健性使用未受干擾文字摘要與受干擾文字摘要之間準確度的絕對差異。準確性演算法使用 ROUGE-N、Meteor 和 BERTScore 指標，如本節先前所述。

準確度 - 將產生的回應與參考中提供的問答組合進行比較的平均分數。分數透過下列方法進行平均：

語意穩健性 – 衡量因輸入中微小的語意保留變化而導致模型文字摘要品質變化的程度。這些變更的範例包括鍵盤打錯字、未正確將數字轉換為單字、隨機變更為大寫，以及隨機新增或刪除空格。語意穩健性使用未受干擾文字摘要與受干擾文字摘要之間準確度的絕對差異。準確度是使用完全相符、準完全相符和 F1 Over Words 來測量，如先前所述。

毒性 - 分數會使用毒性偵測器模型評估產生的答案。如需額外資訊，請參閱上述針對開放式生成任務的毒性一節，以取得詳細資訊。

準確度 - 將預測類別與其標籤進行比較的分數。準確度是使用下列指標測量的：

語意穩健性 - 評估模型輸出由於輸入中微小的、語意保留變更而變更的程度。由於鍵盤打錯字、隨機變更為大寫，以及隨機新增或刪除空格，FMEval 會測量您的模型輸出。語意穩健性會對未受干擾文字摘要與受干擾文字摘要之間準確度的絕對差異進行評分。

(比較) 李克特量表 - 比較 - 人工評估者會根據您的指示，在 5 點李克特量表上的兩個回應之間指出其偏好。在最終報告中，結果將顯示為對整個資料集的偏好強度評分的直方圖。在您的指示中定義 5 點量表要點，如此您的評估者才會知道如何根據您的期望對回應進行評分。

(比較) 選擇按鈕 - 允許人工評估者根據您的指示，使用選項按鈕來指出優於另一個回應的偏好回應。最終報告中的結果會以每個模型的工作者偏好的回應百分比顯示。在指示中清楚解釋您的評估方法。

(比較) 順序排名允許人力評估者根據您的指示，將其對提示的偏好回應從 1 開始依序排名。在最終報告中，結果顯示為評估者對整個資料集的排名直方圖。確定在您的指示中定義了 1 的排名代表何義。

(個人) 拇指向上/向下 - 允許人工評估者根據您的指示，將模型中的每個回應評分為可接受或不可接受的。在最終報告中，結果顯示每個模型獲得拇指向上評分的評估者佔總評分的百分比。您可以使用此評分方法來評估一個或多個模型。如果您在包含兩個模型的評估中使用此方法，UI 會針對每個模型回應向工作團隊提供拇指向上或向下選項。最終報告將個別顯示每個模型的彙總結果。在您給工作團隊的指示中，定義什麼是可接受的回應。

(個人) 李克特量表 - 個人 - 允許人力評估者在 5 點李克特量表上根據您的指示，指出他們核准模型回應的強度。在最終報告中，結果會顯示評估者對整個資料集的 5 點評分直方圖。您可以使用此評分方法，進行包含一個或多個模型的評估。如果您在包含多個模型的評估中選取此評分方法，則會針對每個模型回應向您的工作團隊提供 5 點李克特量表。最終報告將個別顯示每個模型的彙總結果。在您的指示中定義 5 點量表要點，如此您的評估者才會知道如何根據您的期望對回應進行評分。