本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 建立第一個使用人力工作者的模型評估
<a name="model-evaluation-type-human"></a>

使用人力工作者的模型評估任務需要存取下列服務層級資源。使用連結主題來進一步了解如何進行設定。

**啟動使用人力工作者的模型評估任務所需的服務層級資源**

1. 使用人力工作者的模型評估任務可讓您評定/比較兩個不同基礎模型的回應。若要開始任務，至少需要一個 Amazon Bedrock 基礎模型。若要進一步了解如何存取 Amazon Bedrock 基礎模型，請參閱 [請求存取模型](model-access.md)。

1. 若要使用人力工作者建立模型評估任務，您需要存取 [https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/) AWS Command Line Interface或支援的 AWS SDK。若要進一步了解必要的 IAM 動作和資源，請參閱 [建立人工模型評估任務所需的主控台許可](#more-for-human)。

1. 當模型評估任務開始時，會使用服務角色代表您執行動作。若要進一步了解必要的 IAM 動作和信任政策要求，請參閱 [自動模型評估任務的服務角色要求](automatic-service-roles.md)。

1. 啟動模型評估任務需要提示資料集；它必須存放在 Amazon S3 儲存貯體中。若要進一步了解提示資料集要求，請參閱 [建立使用人力工作者之模型評估任務的自訂提示資料集](model-evaluation-prompt-datasets-custom-human.md) 

1. 人力評估人員會以工作團隊的形式進行管理。您可以使用 Amazon Bedrock 主控台建立新的 Amazon Cognito 受管工作團隊。若想進一步了解如何管理人力，請參閱 [管理工作團隊，以對 Amazon Bedrock 中的模型進行人工評估](human-worker-evaluations.md)。

## 建立人工模型評估任務所需的主控台許可
<a name="more-for-human"></a>

若要從 Amazon Bedrock 主控台建立使用人力工作者的模型評估任務，您需要為使用者、群組或角色新增額外的許可。

下列政策包含使用 Amazon Bedrock 主控台建立人工模型評估任務所需的 Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito 和 Amazon S3 中的最少一組 IAM 動作和資源。

------
#### [ JSON ]

****  

```
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}
```

------