Creazione della prima valutazione del modello che utilizza lavoratori umani - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione della prima valutazione del modello che utilizza lavoratori umani

Un processo di valutazione del modello che utilizza lavoratori umani richiede l’accesso alle seguenti risorse a livello di servizio. Utilizza gli argomenti collegati per ulteriori informazioni sulla configurazione.

Risorse di livello di servizio necessarie per avviare un processo di valutazione del modello che utilizza lavoratori umani
  1. I lavori di valutazione dei modelli che utilizzano lavoratori umani consentono di ottenere rate/compare risposte per un massimo di due diversi modelli di base. Per iniziare un processo, è necessario almeno un modello di fondazione Amazon Bedrock. Per ulteriori informazioni sull’accesso ai modelli di fondazione Amazon Bedrock, consulta Accesso ai modelli di fondazione Amazon Bedrock.

  2. Per creare un lavoro di valutazione del modello utilizzando lavoratori umani, è necessario accedere all'https://console.aws.amazon.com/bedrock/SDK o a un AWS SDK supportato. AWS Command Line Interface Per ulteriori informazioni sulle azioni e le risorse IAM richieste, consulta Autorizzazioni console necessarie per creare un processo di valutazione del modello basato sull’uomo.

  3. Quando viene avviato il processo di valutazione del modello, viene utilizzato un ruolo di servizio per eseguire azioni per conto dell’utente. Per ulteriori informazioni sulle azioni IAM richieste e sui requisiti delle policy di attendibilità, consulta Requisiti del ruolo di servizio per i processi di valutazione del modello.

  4. Per avviare il processo di valutazione del modello è necessario un set di dati dei prompt, che deve essere archiviato in un bucket Amazon S3. Per ulteriori informazioni sui requisiti del set di dati dei prompt, consulta Creazione di un set di dati dei prompt personalizzati per un processo di valutazione del modello che utilizza lavoratori umani:

  5. I valutatori umani sono gestiti come un team di lavoro. Puoi creare un nuovo team di lavoro gestito da Amazon Cognito utilizzando la console Amazon Bedrock. Per ulteriori informazioni sulla gestione della forza di lavoro, consulta Gestione di un team di lavoro per le valutazioni umane dei modelli in Amazon Bedrock.

Autorizzazioni console necessarie per creare un processo di valutazione del modello basato sull’uomo

Per creare un processo di valutazione del modello che utilizzi lavoratori umani dalla console Amazon Bedrock, devi aggiungere autorizzazioni ulteriori al tuo utente, gruppo o ruolo.

La seguente policy contiene il set minimo di azioni e risorse IAM in Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito e Amazon S3 necessarie per creare un processo di valutazione del modello basato sull'uomo utilizzando la console Amazon Bedrock.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "AllowPassingConsoleCreatedServiceRoles", "Effect": "Allow", "Action": [ "iam:PassRole" ], "Resource": [ "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*" ], "Condition": { "StringEquals": { "iam:PassedToService": "bedrock.amazonaws.com" } } }, { "Sid": "BedrockConsole", "Effect": "Allow", "Action": [ "bedrock:CreateEvaluationJob", "bedrock:GetEvaluationJob", "bedrock:ListEvaluationJobs", "bedrock:StopEvaluationJob", "bedrock:GetCustomModel", "bedrock:ListCustomModels", "bedrock:CreateProvisionedModelThroughput", "bedrock:UpdateProvisionedModelThroughput", "bedrock:GetProvisionedModelThroughput", "bedrock:ListProvisionedModelThroughputs", "bedrock:GetImportedModel", "bedrock:ListImportedModels", "bedrock:ListTagsForResource", "bedrock:UntagResource", "bedrock:TagResource" ], "Resource": [ "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model", "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*", "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*", "arn:aws:bedrock:us-west-2:111122223333:imported-model/*" ] }, { "Sid": "AllowCognitionActionsForWorkTeamCreations", "Effect": "Allow", "Action": [ "cognito-idp:CreateUserPool", "cognito-idp:CreateUserPoolClient", "cognito-idp:CreateGroup", "cognito-idp:AdminCreateUser", "cognito-idp:AdminAddUserToGroup", "cognito-idp:CreateUserPoolDomain", "cognito-idp:UpdateUserPool", "cognito-idp:ListUsersInGroup", "cognito-idp:ListUsers", "cognito-idp:AdminRemoveUserFromGroup" ], "Resource": "*" }, { "Sid": "AllowModelEvaluationResourceCreation", "Effect": "Allow", "Action": [ "sagemaker:CreateFlowDefinition", "sagemaker:CreateWorkforce", "sagemaker:CreateWorkteam", "sagemaker:DescribeFlowDefinition", "sagemaker:DescribeHumanLoop", "sagemaker:ListFlowDefinitions", "sagemaker:ListHumanLoops", "sagemaker:DescribeWorkforce", "sagemaker:DescribeWorkteam", "sagemaker:ListWorkteams", "sagemaker:ListWorkforces", "sagemaker:DeleteFlowDefinition", "sagemaker:DeleteHumanLoop", "sagemaker:RenderUiTemplate", "sagemaker:StartHumanLoop", "sagemaker:StopHumanLoop" ], "Resource": "*" }, { "Sid": "AllowConsoleS3AccessForModelEvaluation", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetBucketCORS", "s3:ListBucket", "s3:ListBucketVersions", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::my_output_bucket", "arn:aws:s3:::input_datasets/prompts.jsonl" ] } ] }