本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 了解使用 SageMaker Clarify 評估大型語言模型的選項
<a name="clarify-foundation-model-evaluate"></a>

**重要**  
若要使用 SageMaker Clarify Foundation Model Evaluations，您必須升級至新的 Studio 體驗。自 2023 年 11 月 30 日起，先前的 Amazon SageMaker Studio 體驗現在命名為 Amazon SageMaker Studio Classic。基礎評估功能只能用於更新後的體驗。如需如何更新 Studio 的相關資訊，請參閱 [從 Amazon SageMaker Studio Classic 遷移](studio-updated-migrate.md)。如需使用 Studio Classic 應用程式的資訊，請參閱 [Amazon SageMaker Studio Classic](studio.md)。

使用 Amazon SageMaker Clarify，您可以建立模型評估任務來評估大型語言模型 (LLM)。模型評估任務可讓您評估和比較 JumpStart 中文字型模型的模型品質和責任指標。模型評估任務也支援使用已部署到端點的 JumpStart 模型。

您可以使用三種不同的方法來建立模型評估任務。
+ 在 Studio 中建立自動模型評估任務 - 自動模型評估任務可讓您快速評估模型執行任務的能力。您可以提供自己針對特定使用案例量身打造的自訂提示資料集，也可以使用可用的內建資料集。
+ 在 Studio 中建立使用人力的模型評估任務 - 使用人力的模型評估任務可讓您將人工輸入帶入模型評估程序。這些工作者可以是公司的員工，或產業主題專家。
+ 使用 `fmeval` 程式庫建立自動模型評估任務 - 使用 `fmeval` 建立任務可讓您對模型評估任務進行最精細的控制。它還支援使用來自其他服務的 LLMs 外部 AWS 或非 JumpStart 型模型。

模型評估任務支援常見的 LLM 使用案例，例如文字生成、文字分類、問答和文字摘要。
+ **開放式產生** – 對沒有預先定義結構的文字產生自然人類回應。
+ **文字摘要** – 產生簡潔扼要的摘要，同時保留較大文字中包含的意義和關鍵資訊。
+ **問答** – 產生相關且準確的提示回應。
+ **分類**：根據文字內容將標籤或分數等類別指派給文字。

下列主題說明可用的模型評估任務，以及您可以使用的指標種類。他們還描述了可用的內建資料集，以及如何指定自己的資料集。

**Topics**
+ [什麼是基礎模型評估？](clarify-foundation-model-evaluate-whatis.md)
+ [開始使用模型評估](clarify-foundation-model-evaluate-get-started.md)
+ [在模型評估任務中使用提示資料集和可用的評估維度](clarify-foundation-model-evaluate-overview.md)
+ [建立一個使用人力的模型評估任務](clarify-foundation-model-evaluate-human.md)
+ [自動模型評估](clarify-foundation-model-evaluate-auto.md)
+ [了解模型評估任務的結果](clarify-foundation-model-evaluate-results.md)
+ [使用 `fmeval` 程式庫自訂您的工作流程](clarify-foundation-model-evaluate-auto-lib-custom.md)
+ [模型評估筆記本教學課程](clarify-foundation-model-evaluate-auto-tutorial.md)
+ [解決在 Amazon SageMaker AI 中建立模型評估任務時的錯誤](clarify-foundation-model-evaluate-troubleshooting.md)