Crea un lavoro di valutazione del modello che utilizzi un LLM come giudice

È possibile creare un processo di valutazione del AWS Management Console modello utilizzando o un AWS SDK supportato. AWS CLI

Questo tipo di lavoro richiede l'accesso a un modello di valutazione. Se stai valutando le prestazioni di un modello Amazon Bedrock, devi accedere anche a quel modello. Entrambi i modelli devono essere disponibili nello stesso modello. Regione AWS Per un elenco dei modelli di generatore e valutazione supportati, vedereModelli supportati. Per ulteriori informazioni sull'accesso ai modelli, consultaAccedi ai modelli di base Amazon Bedrock.

Prerequisiti

Oltre ad avere accesso ad almeno un modello di valutazione, per creare un processo di valutazione che utilizzi un LLM come giudice, sono necessarie anche determinate autorizzazioni per i ruoli di servizio IAM. Per ulteriori informazioni sulle azioni necessarie e sui requisiti delle politiche di fiducia, consulta. Autorizzazioni richieste per il ruolo di servizio per la creazione di un processo di valutazione del modello che utilizza un modello di giudice

Quando crei il job, specifichi un set di dati prompt in un bucket Amazon S3 e un bucket di output in cui archiviare i risultati. Per garantire che i bucket S3 dispongano delle autorizzazioni CORS necessarie, consulta Autorizzazioni CORS (Cross Origin Resource Sharing) richieste sui bucket S3

Per creare un job nella console, la console necessita dell'autorizzazione per eseguire un determinato insieme di azioni e avere accesso alle risorse necessarie. La seguente policy definisce un set minimo di autorizzazioni IAM necessarie per creare un job nella console. Nella policy, consigliamo di utilizzare l'elemento Resource della policy IAM JSON per limitare l'accesso solo ai modelli e ai bucket richiesti per l'utente, il gruppo o il ruolo IAM.

La policy IAM deve concedere l'accesso sia ai modelli di generazione che a quelli di valutazione.

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	        "Sid": "BedrockConsole",
	        "Effect": "Allow",
	        "Action": [
				"bedrock:CreateEvaluationJob",
				"bedrock:GetEvaluationJob",
				"bedrock:ListEvaluationJobs",
				"bedrock:StopEvaluationJob",
				"bedrock:GetCustomModel",
				"bedrock:ListCustomModels",
				"bedrock:CreateProvisionedModelThroughput",
				"bedrock:UpdateProvisionedModelThroughput",
				"bedrock:GetProvisionedModelThroughput",
				"bedrock:ListProvisionedModelThroughputs",
				"bedrock:GetImportedModel",
				"bedrock:ListImportedModels",
				"bedrock:ListTagsForResource",
				"bedrock:UntagResource",
				"bedrock:TagResource"
	        ],
	        "Resource": [
				"arn:aws:bedrock:us-west-2::foundation-model/*;",
			]
	    },
	    {
	        "Sid": "AllowConsoleS3AccessForModelEvaluation",
	        "Effect": "Allow",
	        "Action": [
	          "s3:GetObject",
	          "s3:GetBucketCORS",
	          "s3:ListBucket",
	          "s3:ListBucketVersions",
	          "s3:GetBucketLocation"
	        ],
	        "Resource": [
				"arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
				"arn:aws:s3:::input_datasets/prompts.jsonl"

			]
	    }
	]
}

Puoi creare un lavoro di valutazione utilizzando solo i parametri integrati di Amazon Bedrock oppure puoi creare un lavoro che utilizza i tuoi parametri personalizzati. Consulta le seguenti sezioni per istruzioni sulla creazione di lavori di valutazione dei modelli.