Création de votre première évaluation de modèles faisant appel à des travailleurs humains - Amazon Bedrock
Autorisations de la console pour une tâche d’évaluation de modèles basée sur l’humain

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création de votre première évaluation de modèles faisant appel à des travailleurs humains

Une tâche d’évaluation de modèles faisant appel à des travailleurs humains nécessite l’accès aux ressources de niveau de service suivantes. Utilisez les rubriques liées pour en savoir plus sur la configuration.

Ressources de niveau de service nécessaires pour démarrer une tâche d’évaluation de modèles faisant appel à des travailleurs humains

  1. Les tâches d'évaluation de modèles faisant appel à rate/compare des travailleurs humains vous permettent d'obtenir des réponses pour deux modèles de base différents. Pour démarrer une tâche, au moins un modèle de fondation Amazon Bedrock est requis. Pour en savoir plus sur l’accès aux modèles de fondation Amazon Bedrock, consultez Accès aux modèles de fondation Amazon Bedrock.

  2. Pour créer une tâche d'évaluation de modèles à l'aide de travailleurs humains, vous devez avoir accès au https://console.aws.amazon.com/bedrock/SDK ou à un AWS SDK compatible. AWS Command Line Interface Pour en savoir plus sur les actions et ressources IAM nécessaires, consultez Autorisations de la console nécessaires pour créer une tâche d’évaluation de modèles basée sur l’humain.

  3. Lorsque la tâche d’évaluation de modèles démarre, un rôle de service est utilisé pour effectuer des actions en votre nom. Pour en savoir plus sur les actions IAM nécessaires et les exigences de politique de confiance, consultez Exigences de fonction du service pour les tâches d’évaluation de modèle automatique.

  4. Un jeu de données d’invite est requis pour démarrer la tâche d’évaluation des modèles ; il doit être stocké dans un compartiment Amazon S3. Pour en savoir plus sur les exigences des jeux de données d’invite, consultez Création d’un jeu de données d’invite personnalisé dans une tâche d’évaluation des modèles qui utilise des travailleurs humains

  5. Les évaluateurs humains sont gérés comme une équipe de travail. Vous pouvez créer une nouvelle équipe de travail gérée par Amazon Cognito à l’aide de la console Amazon Bedrock. Pour en savoir plus sur la gestion de votre main-d’œuvre, consultez Gestion d’une équipe de travail pour les évaluations humaines des modèles dans Amazon Bedrock.

Autorisations de la console nécessaires pour créer une tâche d’évaluation de modèles basée sur l’humain

Pour créer une tâche d’évaluation de modèle faisant appel à des travailleurs humains depuis la console Amazon Bedrock, vous devez faire ajouter des autorisations supplémentaires à votre utilisateur, groupe ou rôle.

La politique suivante contient l'ensemble minimal d'actions et de ressources IAM dans Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito et Amazon S3 qui sont nécessaires pour créer une tâche d'évaluation de modèle basée sur l'humain à l'aide de la console Amazon Bedrock.

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}