기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 평가형 LLM을 사용하는 모델 평가 작업 생성
<a name="model-evaluation-judge-create"></a>

AWS Management ConsoleAWS CLI또는 지원되는 AWSSDK를 사용하여 모델 평가 작업을 생성할 수 있습니다.

이러한 유형의 작업을 수행하려면 평가자 모델에 액세스해야 합니다. Amazon Bedrock 모델의 성능을 평가하는 경우 해당 모델에 대한 액세스 권한도 필요합니다. 두 모델 모두 동일한 AWS 리전에서 사용할 수 있어야 합니다. 지원되는 생성기 및 평가자 모델 목록은 [지원되는 모델](evaluation-judge.md#evaluation-judge-supported) 섹션을 참조하세요.

## 사전 조건
<a name="model-evaluation-judge-create-prereqs"></a>

하나 이상의 평가자 모델에 액세스할 수 있는 것 외에도 평가형 LLM을 사용하는 평가 작업을 생성하려면 특정 IAM 서비스 역할 권한도 필요합니다. 필요한 작업 및 신뢰 정책 요구 사항에 대한 자세한 내용은 [평가자 모델을 사용하는 모델 평가 작업을 생성하는 데 필요한 서비스 역할 권한](judge-service-roles.md) 섹션을 참조하세요.

작업을 생성할 때 Amazon S3 버킷에 프롬프트 데이터세트와 결과를 저장할 출력 버킷을 지정합니다. S3 버킷에 필요한 CORS 권한이 있는지 확인하려면 [S3 버킷에 대한 필수 Cross Origin Resource Sharing(CORS) 권한](model-evaluation-security-cors.md) 섹션을 참조하세요

콘솔에서 작업을 생성하려면 콘솔에 특정 작업 세트를 수행하고 필요한 리소스에 액세스할 수 있는 권한이 필요합니다. 다음 정책은 콘솔에서 작업을 생성하는 데 필요한 최소 IAM 권한 세트를 정의합니다. 정책에서는 IAM JSON 정책 요소 [리소스](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_elements_resource.html)를 사용하여 IAM 사용자, 그룹 또는 역할에 필요한 모델 및 버킷으로만 액세스를 제한하는 것이 좋습니다.

IAM 정책은 생성기 모델과 평가자 모델 모두에 대한 액세스 권한을 부여해야 합니다.

### 필요한 콘솔 권한
<a name="model-evaluation-judge-create-prereqs-permissions"></a>

------
#### [ JSON ]

****  

```
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "BedrockConsole",
            "Effect": "Allow",
            "Action": [
                "bedrock:CreateEvaluationJob",
                "bedrock:GetEvaluationJob",
                "bedrock:ListEvaluationJobs",
                "bedrock:StopEvaluationJob",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:CreateProvisionedModelThroughput",
                "bedrock:UpdateProvisionedModelThroughput",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:ListTagsForResource",
                "bedrock:UntagResource",
                "bedrock:TagResource"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/*;"
            ]
        },
        {
            "Sid": "AllowConsoleS3AccessForModelEvaluation",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetBucketCORS",
                "s3:ListBucket",
                "s3:ListBucketVersions",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
                "arn:aws:s3:::input_datasets/prompts.jsonl"
            ]
        }
    ]
}
```

------

**참고**  
이 예제 정책은 모든 Amazon Bedrock 파운데이션 모델에 대한 권한을 부여합니다. 프로덕션 환경에서는 [최소 권한](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html#grant-least-privilege)의 위탁자를 따르고 필요한 모델에 대한 권한만 부여하는 것이 좋습니다.

Amazon Bedrock의 기본 제공 지표만 사용하여 평가 작업을 생성하거나 자체 사용자 지정 지표를 사용하는 작업을 생성할 수 있습니다. 모델 평가 작업 생성에 대한 지침은 다음 섹션을 참조하세요.

**Topics**
+ [사전 조건](#model-evaluation-judge-create-prereqs)
+ [내장형 지표를 사용하여 모델 평가 작업 생성](model-evaluation-built-in-metrics.md)
+ [사용자 지정 지표를 사용하여 모델 평가 작업 생성](model-evaluation-custom-metrics-create-job.md)