評估和比較模型效能 - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

評估和比較模型效能

使用評估架構評估您部署的文字分類模型。此架構透過筆記本型方法支援監督式和非監督式評估模式。

使用內建資料集

針對本教學課程,我們建議您使用內建的監督式評估資料集,因為大多數使用者沒有隨時可用的已標記評估資料。內建資料集提供跨不同案例的全方位效能分析:

  • 平衡資料集:基準效能的均等類別分佈。

  • 偏斜資料集:用於真實世界測試的不平衡類別。

  • 挑戰資料集:要對模型穩健性進行壓力測試的邊緣案。

評估會產生關鍵指標,包括準確性、精確度、召回率、F1-score、馬修斯相關係數 (MCC) 和曲線下面積接收器操作特性分數,並提供視覺化曲線進行模型比較。

使用自訂資料

如果您有自己的已標記資料集,您可以在筆記本中取代它。架構會自動適應您的資料格式,並產生相同的全方位指標。

支援的資料格式:

  • CSV 格式:兩個資料欄:textlabel

  • 標籤格式:"positive"/"negative"、"LABEL_0"/"LABEL_1"、"True"/"False" 或 "0"/"1"

  • 非監督式:用於可信度分析的單一 text 資料欄

設定您的評估環境

在 SageMaker Amazon SageMaker Studio 中建立 JupyterLab 空間,以執行評估筆記本。

  1. 在 Studio 中,從主畫面選擇 JupyterLab

  2. 如果您沒有空間:

    1. 選擇建立空間

    2. 輸入描述名稱 (例如 TextModelEvaluation)

    3. 保留預設執行個體類型。

    4. 選擇執行空間

    5. 建立空間後,選擇開啟 JupyterLab

存取評估筆記本

下載 zip 檔案並將其解壓縮至您的本機電腦。將整個解壓縮的資料夾上傳至您的 JupyterLab 空間,以開始測試您的模型。套件包含主要評估筆記本、範例資料集、支援 Python 模組,以及完整評估架構的詳細指示。

注意

解壓縮套件後,請檢閱 README 檔案,以取得詳細的設定指示和架構概觀。

繼續解讀您的結果以了解如何分析評估輸出並做出資料驅動的模型選擇決策。