本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
了解使用 SageMaker Clarify 評估大型語言模型的選項
重要
若要使用 SageMaker Clarify Foundation Model Evaluations，您必須升級至新的 Studio 體驗。自 2023 年 11 月 30 日起，先前的 Amazon SageMaker Studio 體驗現在命名為 Amazon SageMaker Studio Classic。基礎評估功能只能用於更新後的體驗。如需如何更新 Studio 的相關資訊，請參閱 從 Amazon SageMaker Studio Classic 遷移。如需使用 Studio Classic 應用程式的資訊，請參閱 Amazon SageMaker Studio Classic。
使用 Amazon SageMaker Clarify，您可以建立模型評估任務來評估大型語言模型 (LLM)。模型評估任務可讓您評估和比較 JumpStart 中文字型模型的模型品質和責任指標。模型評估任務也支援使用已部署到端點的 JumpStart 模型。
您可以使用三種不同的方法來建立模型評估任務。
-
在 Studio 中建立自動模型評估任務 - 自動模型評估任務可讓您快速評估模型執行任務的能力。您可以提供自己針對特定使用案例量身打造的自訂提示資料集，也可以使用可用的內建資料集。
-
在 Studio 中建立使用人力的模型評估任務 - 使用人力的模型評估任務可讓您將人工輸入帶入模型評估程序。這些工作者可以是公司的員工，或產業主題專家。
-
使用
fmeval程式庫建立自動模型評估任務 - 使用fmeval建立任務可讓您對模型評估任務進行最精細的控制。它還支援使用來自其他服務的 LLMs 外部AWS或非 JumpStart 型模型。
模型評估任務支援常見的 LLM 使用案例，例如文字生成、文字分類、問答和文字摘要。
-
開放式產生 – 對沒有預先定義結構的文字產生自然人類回應。
-
文字摘要 – 產生簡潔扼要的摘要，同時保留較大文字中包含的意義和關鍵資訊。
-
問答 – 產生相關且準確的提示回應。
-
分類：根據文字內容將標籤或分數等類別指派給文字。
下列主題說明可用的模型評估任務，以及您可以使用的指標種類。他們還描述了可用的內建資料集，以及如何指定自己的資料集。
主題
