创建使用法学硕士作为评委的模型评估作业 - Amazon Bedrock
先决条件

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

创建使用法学硕士作为评委的模型评估作业

您可以使用 AWS Management Console AWS CLI、或支持的 AWS SDK 创建模型评估任务。

此类作业需要访问评估器模型。如果您正在评估 Amazon Bedrock 模型的性能，则还需要访问该模型。两种型号必须是相同的 AWS 区域。有关支持的生成器和赋值器模型的列表，请参见支持的模型。要了解有关访问模型的更多信息，请参阅访问 Amazon Bedrock 基础模型。

先决条件

除了可以访问至少一个评估者模型外，要创建使用 LLM 作为评委的评估任务，您还需要某些 IAM 服务角色权限。要了解有关必要操作和信任策略要求的更多信息，请参阅创建使用评判模型的模型评估作业所需的服务角色权限。

创建任务时，您可以在 Amazon S3 存储桶中指定提示数据集，并指定用于存储结果的输出存储桶。要确保您的 S3 存储桶具有必要的 CORS 权限，请参阅 S3 存储桶所需的跨源资源共享 (CORS) 权限

要在控制台中创建任务，控制台需要权限才能执行一组特定操作并有权访问所需资源。以下策略定义了在控制台中创建任务所需的最低 IAM 权限集。在该策略中，我们建议使用 IAM JSON 策略元素 Res ou rce 来限制对 IAM 用户、群组或角色所需的模型和存储桶的访问权限。

IAM 策略必须授予对生成器和评估器模型的访问权限。

JSON
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "BedrockConsole",
            "Effect": "Allow",
            "Action": [
                "bedrock:CreateEvaluationJob",
                "bedrock:GetEvaluationJob",
                "bedrock:ListEvaluationJobs",
                "bedrock:StopEvaluationJob",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:CreateProvisionedModelThroughput",
                "bedrock:UpdateProvisionedModelThroughput",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:ListTagsForResource",
                "bedrock:UntagResource",
                "bedrock:TagResource"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/*;"
            ]
        },
        {
            "Sid": "AllowConsoleS3AccessForModelEvaluation",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetBucketCORS",
                "s3:ListBucket",
                "s3:ListBucketVersions",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
                "arn:aws:s3:::input_datasets/prompts.jsonl"
            ]
        }
    ]
}
注意

此示例策略为所有 Amazon Bedrock 基础模型提供了权限。在生产环境中，我们建议您遵循最低权限原则，只为所需的模型授予权限。

您可以仅使用 Amazon Bedrock 的内置指标创建评估任务，也可以使用自己的自定义指标创建任务。有关创建模型评估任务的说明，请参阅以下部分。

主题