기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# Amazon Bedrock의 모델 평가에 프롬프트 데이터세트 사용
<a name="model-evaluation-prompt-datasets"></a>

자동 모델 평가 작업을 생성하려면 프롬프트 데이터세트를 지정해야 합니다. 그런 다음 평가하도록 선택한 모델을 사용하여 추론 중에 프롬프트가 사용됩니다. Amazon Bedrock은 자동 모델 평가에 사용할 수 있는 기본 제공 데이터세트를 제공하거나 자체 프롬프트 데이터세트를 가져올 수 있습니다.

다음 섹션을 통해 사용 가능한 기본 제공 프롬프트 데이터세트와 사용자 지정 프롬프트 데이터세트를 만드는 방법에 대해 자세히 알아보세요.

## Amazon Bedrock의 자동 모델 평가에 기본 제공 프롬프트 데이터세트 사용
<a name="model-evaluation-prompt-datasets-builtin"></a>

Amazon Bedrock은 자동 모델 평가 작업에 사용할 수 있는 기본 제공 프롬프트 데이터세트를 제공합니다. 각 기본 제공 데이터세트는 오픈 소스 데이터세트를 기반으로 합니다. 각 오픈 소스 데이터세트를 무작위로 다운샘플링하여 100개의 프롬프트만 포함하도록 했습니다.

자동 모델 평가 작업을 생성하고 **작업 유형**을 선택하면 Amazon Bedrock에서 권장 지표 목록을 제공합니다. Amazon Bedrock은 각 지표에 대해 권장되는 기본 제공 데이터세트도 제공합니다. 사용 가능한 작업 유형에 대한 자세한 내용은 [Amazon Bedrock의 모델 평가 작업 유형](model-evaluation-tasks.md) 섹션을 참조하세요.

**개방형 언어 생성 데이터세트(BOLD)의 편향**  
개방형 언어 생성 데이터세트(BOLD)의 편향은 직업, 성별, 인종, 종교 이념, 정치 이념 등 5가지 도메인에 초점을 맞춰 일반 텍스트 생성의 공정성을 평가하는 데이터세트입니다. 여기에는 23,679개의 서로 다른 텍스트 생성 프롬프트가 포함되어 있습니다.

**RealToxicityPrompts**  
RealToxicityPrompts는 유해성을 평가하는 데이터세트입니다. 모델이 인종차별적, 성차별 또는 기타 유해한 언어를 생성하도록 유도합니다. 이 데이터세트에는 100,000개의 서로 다른 텍스트 생성 프롬프트가 포함되어 있습니다.

**T-Rex: 자연어와 지식 기반 트리플(TREX)의 대규모 연계**  
TREX는 Wikipedia에서 추출한 지식 기반 트리플(KBT)로 구성된 데이터세트입니다. KBT는 자연어 처리(NLP) 및 지식 표현에 사용되는 일종의 데이터 구조입니다. 주제, 술어, 목적어로 구성되며 주어와 객체는 연관성으로 연결됩니다. 지식 기반 트리플(KBT) 의 예로는 ‘조지 워싱턴은 미국 대통령이었습니다’를 들 수 있습니다. 주어는 ‘조지 워싱턴’, 술어는 ‘미국 대통령’, 목적어는 ‘미국’입니다.

**WikiText2**  
WikiText2는 일반적인 텍스트 생성에 사용되는 프롬프트를 포함하는 HuggingFace 데이터세트입니다.

**Gigaword**  
Gigaword 데이터세트는 뉴스 기사 헤드라인으로 구성됩니다. 이 데이터세트는 텍스트 요약 태스크에 사용됩니다.

**BoolQ**  
BoolQ는 예/아니요 질문과 대답 쌍으로 구성된 데이터세트입니다. 프롬프트에는 짧은 구절과 그 구절에 대한 질문이 포함되어 있습니다. 이 데이터세트는 질문 및 답변 태스크 유형과 함께 사용하는 것이 좋습니다.

**자연어 질문 **  
자연어 질문은 Google 검색에 제출된 실제 사용자 질문으로 구성된 데이터세트입니다.

**TriviaQA**  
Trivia QA는 650,000개 이상의 질문-답변-근거 자료가 포함된 데이터세트입니다. 이 데이터세트는 질문 및 답변 태스크에 사용됩니다.

**전자 상거래 여성용 의류 리뷰**  
전자 상거래 여성용 의류 리뷰는 고객이 작성한 의류 리뷰가 포함된 데이터세트입니다. 이 데이터세트는 텍스트 분류 태스크에 사용됩니다.

다음 표에는 태스크 유형별로 그룹화된 사용 가능한 데이터세트 목록이 나와 있습니다. 자동 지표 계산 방법에 대한 자세한 내용은 [Amazon Bedrock에서 자동화된 모델 평가 작업에 대한 지표 검토(콘솔)](model-evaluation-report-programmatic.md) 섹션을 참조하세요.


**Amazon Bedrock의 자동 모델 평가 작업에 사용할 수 있는 기본 제공 데이터세트**  
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/model-evaluation-prompt-datasets.html)

사용자 지정 프롬프트 데이터세트를 만들기 위한 요구 사항 및 예제에 대한 자세한 내용은 [Amazon Bedrock의 모델 평가에 사용자 지정 프롬프트 데이터세트 사용](#model-evaluation-prompt-datasets-custom) 섹션을 참조하세요.

## Amazon Bedrock의 모델 평가에 사용자 지정 프롬프트 데이터세트 사용
<a name="model-evaluation-prompt-datasets-custom"></a>

모델 평가 작업에서 사용자 지정 프롬프트 데이터세트를 사용할 수 있습니다. 사용자 지정 프롬프트 데이터세트는 Amazon S3에 저장해야 하며 JSON 라인 형식을 사용하고 `.jsonl` 파일 확장자를 사용해야 합니다. 각 줄은 유효한 JSON 객체여야 합니다. 자동 평가 작업당 데이터세트에 최대 1,000개의 프롬프트가 있을 수 있습니다.

콘솔을 사용하여 생성한 작업의 경우 S3 버킷에서 Cross Origin Resource Sharing(CORS) 구성을 업데이트해야 합니다. 필수 CORS 권한에 대해 알아보려면 [S3 버킷에 대한 필수 Cross Origin Resource Sharing(CORS) 권한](model-evaluation-security-cors.md) 섹션을 참조하세요.

사용자 지정 데이터세트에는 다음 키 값 쌍을 사용해야 합니다.
+ `prompt` - 다음 작업에 대한 입력을 나타내는 데 필요합니다.
  + 모델이 응답해야 하는 프롬프트(일반적으로 텍스트 생성)입니다.
  + 질문 및 답변 작업 유형에서 모델이 답변해야 하는 질문입니다.
  + 모델이 텍스트 요약 작업에서 요약해야 하는 텍스트입니다.
  + 모델이 분류 작업에서 분류해야 하는 텍스트입니다.
+ `referenceResponse` - 다음 작업 유형에 대해 모델을 평가할 때 실측 응답을 나타내는 데 필요합니다.
  + 질문 및 답변 작업의 모든 프롬프트에 대한 답변입니다.
  + 모든 정확성 및 견고성 평가에 대한 답변입니다.
+ `category` - (선택 사항) 각 범주에 대해 보고된 평가 점수를 생성합니다.

예를 들어, 정확도를 평가하기 위해서는 제시된 질문과, 모델의 답변을 검증할 기준이 되는 정답이 모두 필요합니다. 이 예제에서는 다음과 같이 질문에 포함된 값이 있는 `prompt` 키를 사용하고 답변에 포함된 값을 가진 `referenceResponse` 키를 사용합니다.

```
{
  "prompt": "Bobigny is the capital of",
  "referenceResponse": "Seine-Saint-Denis",
  "category": "Capitals"
}
```

이전 예제는 모델에 추론 요청으로 전송되는 JSON 라인 입력 파일의 한 라인입니다. 모델은 JSON 라인 데이터세트에 있는 모든 레코드에서 간접적으로 호출됩니다. 다음 데이터 입력 예제는 평가를 위해 필요에 따라 `category` 키를 사용하는 질문 및 답변 작업에 해당하는 내용입니다.

```
{"prompt":"Aurillac is the capital of", "category":"Capitals", "referenceResponse":"Cantal"}
{"prompt":"Bamiyan city is the capital of", "category":"Capitals", "referenceResponse":"Bamiyan Province"}
{"prompt":"Sokhumi is the capital of", "category":"Capitals", "referenceResponse":"Abkhazia"}
```