建立使用人力工作者的第一個模型評估 - Amazon Bedrock
以人力為基礎的模型評估任務的主控台許可

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立使用人力工作者的第一個模型評估

使用人力工作者的模型評估任務需要存取下列服務層級資源。使用連結主題來進一步了解如何進行設定。

啟動使用人力工作者的模型評估任務所需的服務層級資源

  1. 使用人力工作者的模型評估任務可讓您評定/比較兩個不同基礎模型的回應。若要開始任務，至少需要一個 Amazon Bedrock 基礎模型。若要進一步了解如何存取 Amazon Bedrock 基礎模型，請參閱 存取 Amazon Bedrock 基礎模型。

  2. 若要使用人力工作者建立模型評估任務，您需要存取 https://console.aws.amazon.com/bedrock/ AWS Command Line Interface或支援的 AWS SDK。若要進一步了解必要的 IAM 動作和資源，請參閱 建立以人力為基礎的模型評估任務所需的主控台許可。

  3. 當模型評估任務開始時，會使用服務角色代表您執行動作。若要進一步了解必要的 IAM 動作和信任政策需求，請參閱 自動模型評估任務的服務角色要求。

  4. 啟動模型評估任務需要提示資料集；它必須存放在 Amazon S3 儲存貯體中。若要進一步了解提示資料集需求，請參閱 為使用人力的模型評估任務建立自訂提示資料集

  5. 人工評估人員會以工作團隊的形式進行管理。您可以使用 Amazon Bedrock 主控台建立新的 Amazon Cognito 受管工作團隊。若要進一步了解如何管理您的人力資源，請參閱 管理工作團隊，以對 Amazon Bedrock 中的模型進行人工評估。

建立以人力為基礎的模型評估任務所需的主控台許可

若要從 Amazon Bedrock 主控台建立使用人力工作者的模型評估任務，您需要為使用者、群組或角色新增額外的許可權。

下列政策包含 Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito 和 Amazon S3 中，使用 Amazon Bedrock 主控台建立以人工為基礎的模型評估任務所需的一組最低 IAM 動作和資源。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}