Création de votre premier modèle d'évaluation faisant appel à des travailleurs humains - Amazon Bedrock
Autorisations de console pour une tâche d'évaluation de modèles basée sur l'homme

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création de votre premier modèle d'évaluation faisant appel à des travailleurs humains

Un travail d'évaluation de modèles faisant appel à des travailleurs humains nécessite l'accès aux ressources de niveau de service suivantes. Utilisez les rubriques liées pour en savoir plus sur la configuration.

Ressources de niveau de service requises pour démarrer un travail d'évaluation de modèles faisant appel à des travailleurs humains

  1. Les tâches d'évaluation de modèles faisant appel à rate/compare des travailleurs humains vous permettent d'obtenir des réponses pour deux modèles de base différents. Pour démarrer un travail, au moins un modèle de fondation Amazon Bedrock est requis. Pour en savoir plus sur l'accès aux modèles de fondation Amazon Bedrock, consultezAccédez aux modèles de fondations Amazon Bedrock.

  2. Pour créer une tâche d'évaluation de modèles utilisant des travailleurs humains, vous devez avoir accès au https://console.aws.amazon.com/bedrock/SDK ou à un AWS SDK compatible. AWS Command Line Interface Pour en savoir plus sur les actions et ressources IAM requises, consultezAutorisations de console requises pour créer une tâche d'évaluation de modèle basée sur l'homme.

  3. Lorsque la tâche d'évaluation du modèle démarre, un rôle de service est utilisé pour effectuer des actions en votre nom. Pour en savoir plus sur les actions IAM requises et les exigences en matière de politique de confiance, consultezExigences de fonction du service pour les tâches d’évaluation de modèle automatique.

  4. Un ensemble de données rapide est requis pour démarrer la tâche d'évaluation du modèle ; il doit être stocké dans un compartiment Amazon S3. Pour en savoir plus sur les exigences relatives aux jeux de données instantanés, voir Création d'un jeu de données d'invite personnalisé pour une tâche d'évaluation de modèle faisant appel à des travailleurs humains

  5. Les évaluateurs humains sont gérés comme une équipe de travail. Vous pouvez créer une nouvelle équipe de travail gérée par Amazon Cognito à l'aide de la console Amazon Bedrock. Pour en savoir plus sur la gestion de vos effectifs, consultezGérez une équipe de travail pour les évaluations humaines des modèles dans Amazon Bedrock.

Autorisations de console requises pour créer une tâche d'évaluation de modèle basée sur l'homme

Pour créer une tâche d’évaluation de modèle faisant appel à des travailleurs humains depuis la console Amazon Bedrock, vous devez faire ajouter des autorisations supplémentaires à votre utilisateur, groupe ou rôle.

La politique suivante contient l'ensemble minimal d'actions et de ressources IAM dans Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito et Amazon S3 qui sont nécessaires pour créer une tâche d'évaluation de modèle basée sur l'humain à l'aide de la console Amazon Bedrock.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}