本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 在 Amazon Bedrock 中创建 RAG 评测作业
<a name="knowledge-base-evaluation-create"></a>

您可以使用 AWS 管理控制台、 AWS CLI或支持的 AWS SDK 创建 RAG 评估作业。

此类作业需要对评测器模型的访问权限。如果您正在创建使用 Amazon Bedrock 模型作为响应生成器的作 retrieve-and-generate业，则还需要访问该模型。两种模型必须在同一个 AWS 区域中可用。有关支持的响应生成器和评测器模型的列表，请参阅[支持的模型](evaluation-kb.md#evaluation-kb-supported)。

## 先决条件
<a name="knowledge-base-evaluation-create-prereqs"></a>

除了可以访问至少一个评测器模型外，要创建 RAG 评测作业，您还需要特定 IAM 服务角色权限。要了解有关必要操作和信任策略要求的更多信息，请参阅[创建使用评判模型的模型评测作业所需的服务角色权限](judge-service-roles.md)。

创建作业时，您可以在 Amazon S3 存储桶中指定提示数据集，并指定用于存储结果的输出存储桶。要确保您的 S3 存储桶具有必要的 CORS 权限，请参阅[必需的 S3 存储桶的跨源资源共享（CORS）权限](model-evaluation-security-cors.md)

要在控制台中创建作业，控制台需要执行一组特定操作的权限以及访问所需资源的权限。以下策略定义了在控制台中创建作业所需的最低 IAM 权限集。在该策略中，我们建议使用 IAM JSON 策略元素 [Resource](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_elements_resource.html)，将访问权限限制为仅能访问 IAM 用户、组或角色所需的模型和存储桶。

IAM 策略必须授予对评测器模型以及响应生成器（对于使用 Amazon Bedrock 响应生成器模型的检索并生成作业）的访问权限。

### 所需控制台权限
<a name="knowledge-base-evaluation-create-prereqs-permissions"></a>

------
#### [ JSON ]

****  

```
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "BedrockConsole",
            "Effect": "Allow",
            "Action": [
                "bedrock:CreateEvaluationJob",
                "bedrock:GetEvaluationJob",
                "bedrock:ListEvaluationJobs",
                "bedrock:StopEvaluationJob",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:CreateProvisionedModelThroughput",
                "bedrock:UpdateProvisionedModelThroughput",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:ListTagsForResource",
                "bedrock:UntagResource",
                "bedrock:TagResource"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/*;"
            ]
        },
        {
            "Sid": "AllowConsoleS3AccessForModelEvaluation",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetBucketCORS",
                "s3:ListBucket",
                "s3:ListBucketVersions",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
                "arn:aws:s3:::input_datasets/prompts.jsonl"
            ]
        }
    ]
}
```

------

**注意**  
此示例策略提供对所有 Amazon Bedrock 基础模型的权限。在生产环境中，建议您遵循[最低权限](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html#grant-least-privilege)原则，仅授予对所需模型的权限。

**Topics**
+ [先决条件](#knowledge-base-evaluation-create-prereqs)
+ [创建仅限检索 RAG 评测作业；](knowledge-base-evaluation-create-ro.md)
+ [使用自定义指标创建仅限检索 RAG 评测作业](knowledge-base-evaluation-create-ro-custom.md)
+ [创建检索并生成 RAG 评测作业](knowledge-base-evaluation-create-randg.md)
+ [使用自定义指标创建“检索并生成”RAG 评测作业](knowledge-base-evaluation-create-randg-custom.md)