创建第一个使用人工的模型评估 - Amazon Bedrock
基于人类的模型评估作业的控制台权限

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

创建第一个使用人工的模型评估

使用人工的模型评估作业需要访问以下服务级别资源。使用链接的主题了解有关如何进行设置的更多信息。

启动使用人工的模型评估作业所需的服务级别资源

  1. 使用人工操作的模型评估作业允许你 rate/compare 对最多两个不同的基础模型做出回应。要开始工作，至少需要一个 Amazon Bedrock 基础模型。要了解有关访问 Amazon Bedrock 基础模型的更多信息，请参阅访问 Amazon Bedrock 基础模型。

  2. 要使用人工工作者创建模型评估作业，您需要访问https://console.aws.amazon.com/bedrock/ AWS Command Line Interface、或支持的 AWS SDK。要了解有关所需的 IAM 操作和资源的更多信息，请参阅创建基于人工的模型评测作业所需的控制台权限。

  3. 当模型评估作业启动时，服务角色用于代表您执行操作。要了解有关所需的 IAM 操作和信任策略要求的更多信息，请参阅自动模型评估作业的服务角色要求。

  4. 启动模型评估任务需要提示数据集；它必须存储在 Amazon S3 存储桶中。要了解有关提示数据集要求的更多信息，请参阅 为使用人工工作的模型评估作业创建自定义提示数据集

  5. 人工评估人员作为一个工作团队进行管理。你可以使用 Amazon Bedrock 控制台创建一个新的 Amazon Cognito 托管工作团队。要了解有关管理员工队伍的更多信息，请参阅管理工作团队以便在 Amazon Bedrock 中对模型进行人工评估。

创建基于人工的模型评测作业所需的控制台权限

要通过 Amazon Bedrock 控制台创建使用人工的模型评估作业，您需要为用户、群组或角色添加额外的权限。

以下策略包含 Amazon Bedrock、Amazon A SageMaker I、Amazon Cognito 和 Amazon S3 中使用亚马逊 Bedrock 控制台创建基于人类的模型评估任务所需的最低限度 IAM 操作和资源集。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}