建立第一個使用人力工作者的模型評估 - Amazon Bedrock
人工模型評估任務的主控台許可

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立第一個使用人力工作者的模型評估

使用人力工作者的模型評估任務需要存取下列服務層級資源。使用連結主題來進一步了解如何進行設定。

啟動使用人力工作者的模型評估任務所需的服務層級資源

  1. 使用人力工作者的模型評估任務可讓您評定/比較兩個不同基礎模型的回應。若要開始任務，至少需要一個 Amazon Bedrock 基礎模型。若要進一步了解如何存取 Amazon Bedrock 基礎模型，請參閱 存取 Amazon Bedrock 基礎模型。

  2. 若要使用人力工作者建立模型評估任務，您需要存取 https://console.aws.amazon.com/bedrock/ AWS Command Line Interface或支援的 AWSSDK。若要進一步了解必要的 IAM 動作和資源，請參閱 建立人工模型評估任務所需的主控台許可。

  3. 當模型評估任務開始時，會使用服務角色代表您執行動作。若要進一步了解必要的 IAM 動作和信任政策要求，請參閱 自動模型評估任務的服務角色要求。

  4. 啟動模型評估任務需要提示資料集；它必須存放在 Amazon S3 儲存貯體中。若要進一步了解提示資料集要求，請參閱 建立使用人力工作者之模型評估任務的自訂提示資料集

  5. 人力評估人員會以工作團隊的形式進行管理。您可以使用 Amazon Bedrock 主控台建立新的 Amazon Cognito 受管工作團隊。若想進一步了解如何管理人力，請參閱 管理工作團隊，以對 Amazon Bedrock 中的模型進行人工評估。

建立人工模型評估任務所需的主控台許可

若要從 Amazon Bedrock 主控台建立使用人力工作者的模型評估任務，您需要為使用者、群組或角色新增額外的許可。

下列政策包含使用 Amazon Bedrock 主控台建立人工模型評估任務所需的 Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito 和 Amazon S3 中的最少一組 IAM 動作和資源。

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}