本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 評估和比較模型效能
<a name="jumpstart-text-classification-evaluate"></a>

使用評估架構評估您部署的文字分類模型。此架構透過筆記本型方法支援監督式和非監督式評估模式。

## 使用內建資料集
<a name="w2aac37c15c23b5"></a>

針對本教學課程，**我們建議您使用內建的監督式評估資料集**，因為大多數使用者沒有隨時可用的已標記評估資料。內建資料集提供跨不同案例的全方位效能分析：
+ **平衡資料集**：基準效能的均等類別分佈。
+ **偏斜資料集**：用於真實世界測試的不平衡類別。
+ **挑戰資料集**：要對模型穩健性進行壓力測試的邊緣案。

評估會產生關鍵指標，包括準確性、精確度、召回率、F1-score、馬修斯相關係數 (MCC) 和曲線下面積接收器操作特性分數，並提供視覺化曲線進行模型比較。

## 使用自訂資料
<a name="w2aac37c15c23b7"></a>

如果您有自己的已標記資料集，您可以在筆記本中取代它。架構會自動適應您的資料格式，並產生相同的全方位指標。

**支援的資料格式：**
+ **CSV 格式：**兩個資料欄：`text` 和 `label`
+ **標籤格式：**"positive"/"negative"、"LABEL\_0"/"LABEL\_1"、"True"/"False" 或 "0"/"1"
+ **非監督式：**用於可信度分析的單一 `text` 資料欄

## 設定您的評估環境
<a name="w2aac37c15c23b9"></a>

在 SageMaker Amazon SageMaker Studio 中建立 JupyterLab 空間，以執行評估筆記本。

1. 在 Studio 中，從主畫面選擇 **JupyterLab**。

1. 如果您沒有空間：

   1. 選擇**建立空間**。

   1. 輸入描述名稱 (例如 **TextModelEvaluation)**。

   1. 保留預設執行個體類型。

   1. 選擇**執行空間**。

   1. 建立空間後，選擇**開啟 JupyterLab**。

### 存取評估筆記本
<a name="w2aac37c15c23b9b7"></a>

下載 [zip 檔案](samples/sagemaker-text-classification-evaluation-2.zip)並將其解壓縮至您的本機電腦。將整個解壓縮的資料夾上傳至您的 JupyterLab 空間，以開始測試您的模型。套件包含主要評估筆記本、範例資料集、支援 Python 模組，以及完整評估架構的詳細指示。

**注意**  
解壓縮套件後，請檢閱 README 檔案，以取得詳細的設定指示和架構概觀。

繼續[解讀您的結果](jumpstart-text-classification-interpret.md)以了解如何分析評估輸出並做出資料驅動的模型選擇決策。