本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
评测 Amazon Bedrock 资源的性能
使用 Amazon Bedrock 评测来评测 Amazon Bedrock 模型和知识库的性能和有效性，以及 Amazon Bedrock 外部的模型和检索增强生成（RAG）来源的性能和有效性。Amazon Bedrock 可以计算性能指标，例如模型的语义稳健性，以及知识库在检索信息和生成响应方面的正确性。对于模型评估，您还可以使用一组人工对评估进行评分并提供他们的意见。
自动评估（包括使用大型语言模型 (LLM) 的评估）会生成计算得出的分数和指标，帮助您评估模型和知识库的有效性。 Human-based 评估使用一组人员来提供与某些指标相关的评级和偏好。
- 编程模型评估作业
-
编程模型评估任务允许您快速评估模型执行任务的能力。您可以提供为特定用例量身定制的自定义提示数据集，也可以使用可用的内置数据集。
- 对使用人工的评估任务进行建模
-
使用人工的模型评估作业允许您将人工输入引入模型评估过程。人工可能来自公司员工，也可能来自行业内的一群主题专家。
- 对使用判断模型的评估任务进行建模
-
使用判断模型的模型评估作业允许您通过使用第二个 LLM 快速评估模型的响应。第二个 LLM 会对响应进行评分并为每个响应提供解释。
- 使用大型语言模型 (LLM) 的 RAG 评估
-
LLM-based 评估计算知识库的性能指标。这些指标可以显示 RAG 来源或 Amazon Bedrock 知识库是否能够检索高度相关的信息并生成有用、适当的响应。您需要提供包含提示或用户查询的数据集，用于评测知识库如何检索信息并针对这些给定查询生成响应。该数据集还必须包含“Ground Truth”（即针对查询的预期检索文本和响应），让评测可以检查您的知识库是否与预期一致。
模型评测作业支持使用以下类型的 Amazon Bedrock 基础模型：
-
基础模型
Amazon Bedrock Marketplace 模型
-
自定义基础模型
-
导入的基础模型
-
提示路由器
-
您已为其购买预调配吞吐量的模型
主题
