인간 작업자를 사용하는 첫 번째 모델 평가 생성 - Amazon Bedrock
인적 기반 모델 평가 작업에 대한 콘솔 권한

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

인간 작업자를 사용하는 첫 번째 모델 평가 생성

작업자를 사용하는 모델 평가 작업에는 다음 서비스 수준 리소스에 대한 액세스 권한이 필요합니다. 연결된 주제를 사용하여 설정 방법에 대해 자세히 알아봅니다.

작업자를 사용하는 모델 평가 작업을 시작하는 데 필요한 서비스 수준 리소스

  1. 인간 작업자를 사용하는 모델 평가 작업을 사용하면 최대 두 가지 파운데이션 모델에 대한 응답을 평가/비교할 수 있습니다. 작업을 시작하려면 하나 이상의 Amazon Bedrock 파운데이션 모델이 필요합니다. Amazon Bedrock 파운데이션 모델에 액세스하는 방법에 대한 자세한 내용은 섹션을 참조하세요Amazon Bedrock 파운데이션 모델 액세스.

  2. 작업자를 사용하여 모델 평가 작업을 생성하려면 https://console.aws.amazon.com/bedrock/ AWS Command Line Interface또는 지원되는 AWS SDK에 액세스해야 합니다. 필요한 IAM 작업 및 리소스에 대한 자세한 내용은 섹션을 참조하세요인적 기반 모델 평가 작업을 만드는 데 필요한 콘솔 권한.

  3. 모델 평가 작업이 시작되면 서비스 역할을 사용하여 사용자를 대신하여 작업을 수행합니다. 필수 IAM 작업 및 신뢰 정책 요구 사항에 대한 자세한 내용은 섹션을 참조하세요자동 모델 평가 작업의 서비스 역할 요구 사항.

  4. 모델 평가 작업을 시작하려면 프롬프트 데이터 세트가 필요하며 Amazon S3 버킷에 저장해야 합니다. 프롬프트 데이터 세트 요구 사항에 대한 자세한 내용은 섹션을 참조하세요. 인간 작업자를 사용하는 모델 평가 작업에 대한 사용자 지정 프롬프트 데이터 세트 생성

  5. 인적 평가자는 작업 팀으로 관리됩니다. Amazon Bedrock 콘솔을 사용하여 새 Amazon Cognito 관리형 작업 팀을 생성할 수 있습니다. 작업 인력 관리에 대한 자세한 내용은 섹션을 참조하세요Amazon Bedrock에서 모델의 인적 평가를 위한 작업팀 관리.

인적 기반 모델 평가 작업을 만드는 데 필요한 콘솔 권한

Amazon Bedrock 콘솔에서 작업자를 사용하는 모델 평가 작업을 생성하려면 사용자, 그룹 또는 역할에 추가 권한을 추가해야 합니다.

다음 정책에는 Amazon Bedrock 콘솔을 사용하여 인간 기반 모델 평가 작업을 생성하는 데 필요한 Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito 및 Amazon S3의 최소 IAM 작업 및 리소스 세트가 포함되어 있습니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}