ヒューマンワーカーによるモデル評価ジョブの作成 - Amazon Bedrock
ヒューマンベースのモデル評価ジョブのコンソールアクセス許可

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ヒューマンワーカーによるモデル評価ジョブの作成

ヒューマンワーカーを使用するモデル評価ジョブでは、次のサービスレベルリソースにアクセスする必要があります。設定方法の詳細については、トピックのリンクを使用して確認してください。

ヒューマンワーカーを使ったモデル評価ジョブを開始するために必要なサービスレベルのリソース

  1. ヒューマンワーカーを使用するモデル評価ジョブでは、最大 2 つの異なる基盤モデルのレスポンスを評価または比較できます。ジョブを開始するには、少なくとも 1 つの Amazon Bedrock 基盤モデルが必要です。Amazon Bedrock 基盤モデルへのアクセスの詳細については、「Access Amazon Bedrock foundation models」を参照してください。

  2. ヒューマンワーカーを使用してモデル評価ジョブを作成するには、https://console.aws.amazon.com/bedrock/AWS Command Line Interface、またはサポートされている AWSSDK にアクセスする必要があります。必要な IAM アクションとリソースの詳細については、「ヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可」を参照してください。

  3. モデル評価ジョブが開始されると、サービスロールを使用して自動的にアクションが実行されます。必要な IAM アクションと信頼ポリシーの要件の詳細については、「自動モデル評価ジョブのサービスロール要件」を参照してください。

  4. モデル評価ジョブを開始するには、プロンプトデータセットが必要です。プロンプトデータセットは、Amazon S3 バケットに保存する必要があります。プロンプトデータセットの要件の詳細については、「ヒューマンワーカーを使用するモデル評価ジョブのカスタムプロンプトデータセットを作成する」を参照してください。

  5. 人間の評価者は、作業チームとして管理します。Amazon Bedrock コンソールを使用して、新しい Amazon Cognito マネージドワークチームを作成できます。ワークフォースの管理の詳細については、「Amazon Bedrock でモデルを人間が評価するための作業チームを管理する」を参照してください。

ヒューマンベースモデル評価ジョブの作成に必要なコンソールアクセス許可

Amazon Bedrock コンソールからヒューマンワーカーによるモデル評価ジョブを作成するには、ユーザー、グループ、またはロールにアクセス許可を追加する必要があります。

以下のポリシーには、Amazon Bedrock コンソールを使用して、ヒューマンベースのモデル評価ジョブを作成するために必要な Amazon Bedrock、Amazon SageMaker AI、Amazon Cognito、Amazon S3 の最小限の IAM アクションとリソースが含まれています。

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}