自動模型評估

您可以在 Studio 中或在您自己的程式碼內使用 fmeval 程式庫來建立自動模型評估。Studio 使用精靈來建立模型評估任務。fmeval 程式庫提供工具進一步自訂您的工作流程。

這兩種類型的自動模型評估任務都支援使用公開可用的 JumpStart 模型，以及您先前部署到端點的 JumpStart 模型。如果您使用先前尚未部署的 JumpStart，SageMaker AI 將負責建立必要的資源，並在模型評估任務完成後將其關閉。

若要使用來自其他服務的文字型 LLMs AWS 或在 外部託管的模型 AWS，您必須使用 fmeval程式庫。

當您的任務完成時，結果會儲存在建立任務時指定的 Amazon S3 儲存貯體中。若要了解如何解譯結果，請參閱 了解模型評估任務的結果。