Criando seu primeiro modelo de avaliação que usa trabalhadores humanos - Amazon Bedrock
Permissões do console para trabalho de avaliação de modelos baseado em humanos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criando seu primeiro modelo de avaliação que usa trabalhadores humanos

Um trabalho de avaliação de modelo que usa trabalhadores humanos requer acesso aos seguintes recursos de nível de serviço. Use os tópicos vinculados para saber mais sobre como configurar.

Recursos de nível de serviço necessários para iniciar um trabalho de avaliação de modelo que usa trabalhadores humanos

  1. O trabalho de avaliação de modelos que usa trabalhadores humanos permite que você obtenha rate/compare as respostas de até dois modelos básicos diferentes. Para começar um trabalho, é necessário pelo menos um modelo de fundação Amazon Bedrock. Para saber mais sobre como acessar os modelos da Amazon Bedrock Foundation, consulteAcessar modelos de base do Amazon Bedrock.

  2. Para criar um trabalho de avaliação de modelo usando trabalhadores humanos, você precisa acessar o https://console.aws.amazon.com/bedrock/ AWS Command Line Interface, ou um AWS SDK compatível. Para saber mais sobre as ações e os recursos necessários do IAM, consultePermissões do console necessárias para criar um trabalho de avaliação de modelo baseada em humanos.

  3. Quando o trabalho de avaliação do modelo é iniciado, uma função de serviço é usada para realizar ações em seu nome. Para saber mais sobre as ações necessárias do IAM e os requisitos da política de confiança, consulteRequisitos do perfil de serviço para trabalhos automáticos de avaliação de modelo.

  4. É necessário um conjunto de dados imediato para iniciar o trabalho de avaliação do modelo; ele deve ser armazenado em um bucket do Amazon S3. Para saber mais sobre os requisitos imediatos do conjunto de dados, consulte Crie um conjunto de dados de prompt personalizado para um trabalho de avaliação de modelo que usa trabalhadores humanos

  5. Os avaliadores humanos são gerenciados como uma equipe de trabalho. Você pode criar uma nova equipe de trabalho gerenciada pelo Amazon Cognito usando o console do Amazon Bedrock. Para saber mais sobre como gerenciar sua força de trabalho, consulteGerenciar uma equipe de trabalho de avaliações humanas de modelos no Amazon Bedrock.

Permissões do console necessárias para criar um trabalho de avaliação de modelo baseada em humanos

Para criar um trabalho de avaliação de modelo com a participação de operadores humanos usando o console do Amazon Bedrock, é necessário incluir permissões adicionais ao seu usuário, grupo ou perfil.

A política a seguir contém o conjunto mínimo de ações e recursos do IAM no Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito e Amazon S3 que são necessários para criar um trabalho de avaliação de modelo baseado em humanos usando o console Amazon Bedrock.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}