本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 创建使用人工工作人员的模型评测作业
<a name="model-evaluation-type-human"></a>

使用人工工作人员的模型评测作业需要对以下服务级别资源的访问权限。参阅链接的主题，了解有关设置的更多信息。

**启动使用人工工作人员的模型评测作业所需的服务级别资源**

1. 使用人工操作的模型评估作业允许您 rate/compare 对最多两个不同的基础模型做出响应。要启动作业，至少需要一个 Amazon Bedrock 基础模型。要了解有关访问 Amazon Bedrock 基础模型的更多信息，请参阅[请求访问模型](model-access.md)。

1. 要使用人工工作者创建模型评估作业，您需要访问[https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/) AWS Command Line Interface、或支持的 AWS SDK。要了解有关所需的 IAM 操作和资源的更多信息，请参阅[创建基于人工的模型评测作业所需的控制台权限](#more-for-human)。

1. 在模型评测作业启动时，可使用服务角色代表您执行操作。要了解有关所需的 IAM 操作和信任策略要求的更多信息，请参阅[自动模型评估作业的服务角色要求](automatic-service-roles.md)。

1. 需要提示数据集才能启动模型评测作业；该数据集必须存储在 Amazon S3 存储桶中。要了解有关提示数据集要求的更多信息，请参阅[为使用人工工作人员的模型评测作业创建自定义提示数据集](model-evaluation-prompt-datasets-custom-human.md)。

1. 人工评测人员以工作团队的形式进行管理。您可以使用 Amazon Bedrock 控制台创建新的 Amazon Cognito 托管工作组。要了解有关管理您的工作人员的更多信息，请参阅[管理工作团队以便在 Amazon Bedrock 中对模型进行人工评估](human-worker-evaluations.md)。

## 创建基于人工的模型评测作业所需的控制台权限
<a name="more-for-human"></a>

要通过 Amazon Bedrock 控制台创建使用人工的模型评估作业，您需要为用户、群组或角色添加额外的权限。

以下策略包含 Amazon Bedrock、Amazon A SageMaker I、Amazon Cognito 和 Amazon S3 中使用亚马逊 Bedrock 控制台创建基于人类的模型评估任务所需的最低限度 IAM 操作和资源集。

------
#### [ JSON ]

****  

```
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}
```

------