ヒューマンワーカーを使用する最初のモデル評価の作成 - Amazon Bedrock
人間ベースのモデル評価ジョブのコンソールアクセス許可

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ヒューマンワーカーを使用する最初のモデル評価の作成

ヒューマンワーカーを使用するモデル評価ジョブでは、次のサービスレベルのリソースにアクセスする必要があります。リンクされたトピックを使用して、セットアップの詳細を確認してください。

ヒューマンワーカーを使用するモデル評価ジョブを開始するために必要なサービスレベルのリソース

  1. ヒューマンワーカーを使用するモデル評価ジョブでは、最大 2 つの異なる基盤モデルのレスポンスを評価/比較できます。ジョブを開始するには、少なくとも 1 つの Amazon Bedrock 基盤モデルが必要です。Amazon Bedrock 基盤モデルへのアクセスの詳細については、「」を参照してくださいAccess Amazon Bedrock foundation models。

  2. ヒューマンワーカーを使用してモデル評価ジョブを作成するには、https://console.aws.amazon.com/bedrock/ AWS Command Line Interface、またはサポートされている AWS SDK にアクセスする必要があります。必要な IAM アクションとリソースの詳細については、「」を参照してくださいヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可。

  3. モデル評価ジョブが開始されると、サービスロールを使用してユーザーに代わってアクションを実行します。必要な IAM アクションと信頼ポリシーの要件の詳細については、「」を参照してください自動モデル評価ジョブのサービスロール要件。

  4. モデル評価ジョブを開始するにはプロンプトデータセットが必要です。Amazon S3 バケットに保存する必要があります。プロンプトデータセットの要件の詳細については、「」を参照してください。 ヒューマンワーカーを使用するモデル評価ジョブのカスタムプロンプトデータセットを作成する

  5. 人間の評価者は作業チームとして管理されます。Amazon Bedrock コンソールを使用して、新しい Amazon Cognito マネージドワークチームを作成できます。ワークフォースの管理の詳細については、「」を参照してくださいAmazon Bedrock でモデルを人間が評価するための作業チームを管理する。

ヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可

Amazon Bedrock コンソールからヒューマンワーカーによるモデル評価ジョブを作成するには、ユーザー、グループ、またはロールにアクセス許可を追加する必要があります。

次のポリシーには、Amazon Bedrock コンソールを使用して人間ベースのモデル評価ジョブを作成するために必要な、Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito、Amazon S3 の IAM アクションとリソースの最小セットが含まれています。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}