使用另一个 LLM as a judge 来评测模型性能 - Amazon Bedrock
支持的模型

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用另一个 LLM as a judge 来评测模型性能

在使用评判工具模型的模型评测作业中，Amazon Bedrock 将使用 LLM 对另一个模型的响应进行评分，并解释它如何对每个提示和响应对进行评分。分数和解释可在 Amazon Bedrock 控制台的评测页面中查看。

这种模型评测需要两种不同的模型，即生成器模型和评测器模型。您需要在数据集中为生成器模型定义提示，评测器模型会根据您选择的指标对针对这些提示的响应进行评分。

控制台中的指标摘要卡展示了一个直方图，其中显示了响应获得特定分数的次数，以及数据集中前五个提示的分数说明。完整的评测作业报告可在您创建模型评测作业时指定的 Amazon S3 存储桶中获取。

创建模型评测作业时，您可以选择 Amazon Bedrock 模型作为生成器模型，也可以通过在提示数据集中提供自己的推理响应数据来评测非 Amazon Bedrock 模型。如果您提供了自己的响应数据，Amazon Bedrock 会跳过模型调用步骤，直接评测您提供的数据。

为了对生成器模型的响应进行评级，Amazon Bedrock 提供了一组内置指标供您选择。每个指标对评测器模型使用不同的提示。您还可以针对特定业务案例定义自己的自定义指标。请参阅通过指标了解模型性能，了解更多信息。

支持的模型

支持的评测器模型（内置指标）

要创建使用 LLM as a judge 并结合 Amazon Bedrock 内置指标的评测作业，您需要有权访问以下列表中的至少一个评判工具模型。要了解有关获取模型访问权限和区域可用性的更多信息，请参阅访问 Amazon Bedrock 基础模型。

  • Amazon Nova Pro – amazon.nova-pro-v1:0

  • Anthropic Claude 3.5 Sonnet v1 – anthropic.claude-3-5-sonnet-20240620-v1:0

  • Anthropic Claude 3.5 Sonnet v2 – anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0

  • Anthropic Claude 3.5 Haiku – anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Mistral Large – mistral.mistral-large-2402-v1:0

列出的模型支持跨区域推理配置文件。要了解更多信息，请参阅支持的跨区域推理配置文件。

支持的评测器模型（自定义指标）

要创建使用 LLM as a judge 并结合自定义指标的评测作业，您需要有权访问以下列表中的至少一个评判工具模型。

  • Mistral Large 24.02 – mistral.mistral-large-2402-v1:0

  • Mistral Large 24.07 – mistral.mistral-large-2407-v1:0

  • Anthropic Claude 3.5 Sonnet v1 – anthropic.claude-3-5-sonnet-20240620-v1:0

  • Anthropic Claude 3.5 Sonnet v2 – anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • Anthropic Claude 3 Haiku 3 – anthropic.claude-3-haiku-20240307-v1:0

  • Anthropic Claude 3 Haiku 3.5 – anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Meta Llama 3.3 70B Instruct – meta.llama3-3-70b-instruct-v1:0

  • Amazon Nova Pro – amazon.nova-pro-v1:0

列出的模型支持跨区域推理配置文件。要了解更多信息，请参阅支持的跨区域推理配置文件。

支持的生成器模型

您可以在 Amazon Bedrock 中使用以下模型类型作为评测作业中的生成器模型。您还可以自带来自非 Amazon Bedrock 模型的推理响应数据。