Creación de su primer modelo de evaluación que utilice trabajadores humanos - Amazon Bedrock
Permisos de consola para un trabajo de evaluación de modelos basado en humanos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Creación de su primer modelo de evaluación que utilice trabajadores humanos

Un trabajo de evaluación modelo que utilice trabajadores humanos requiere el acceso a los siguientes recursos de nivel de servicio. Utilice los temas enlazados para obtener más información sobre la configuración.

Recursos de nivel de servicio necesarios para iniciar un trabajo de evaluación de modelos que utilice trabajadores humanos

  1. Los trabajos de evaluación de modelos que utilizan trabajadores humanos le rate/compare permiten obtener respuestas para hasta dos modelos básicos diferentes. Para iniciar un trabajo, se requiere al menos un modelo de base de Amazon Bedrock. Para obtener más información sobre cómo acceder a los modelos básicos de Amazon Bedrock, consulteAcceso a los modelos fundacionales de Amazon Bedrock.

  2. Para crear un trabajo de evaluación de modelos con trabajadores humanos, necesita acceder al https://console.aws.amazon.com/bedrock/SDK o a un AWS SDK compatible. AWS Command Line Interface Para obtener más información sobre las acciones y los recursos de IAM necesarios, consultePermisos de la consola necesarios para crear un trabajo de evaluación del modelo con intervención humana.

  3. Cuando se inicia el trabajo de evaluación del modelo, se utiliza un rol de servicio para realizar acciones en su nombre. Para obtener más información sobre las acciones de IAM obligatorias y los requisitos de la política de confianza, consulteRequisitos de rol de servicio para los trabajos de evaluación de modelos automática.

  4. Se necesita un conjunto de datos rápido para iniciar el trabajo de evaluación del modelo; debe estar almacenado en un bucket de Amazon S3. Para obtener más información sobre los requisitos del conjunto de datos rápido, consulte Cree un conjunto de datos de solicitudes personalizado para un trabajo de evaluación de modelos que utilice trabajadores humanos

  5. Los evaluadores humanos se gestionan como un equipo de trabajo. Puede crear un nuevo equipo de trabajo gestionado por Amazon Cognito mediante la consola Amazon Bedrock. Para obtener más información sobre la administración de su fuerza laboral, consulte. Administración de un equipo de trabajo para las evaluaciones realizadas por humanos de los modelos en Amazon Bedrock

Permisos de la consola necesarios para crear un trabajo de evaluación del modelo con intervención humana

Para crear un trabajo de evaluación de modelos con intervención humana desde la consola de Amazon Bedrock, debe agregar permisos adicionales a su usuario, grupo o rol.

La siguiente política contiene el conjunto mínimo de acciones y recursos de IAM en Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito y Amazon S3 necesarios para crear un trabajo de evaluación de modelos basado en humanos mediante la consola de Amazon Bedrock.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}