기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# Amazon Bedrock에서의 모델 평가를 위한 질문 및 답변
<a name="model-evaluation-tasks-question-answer"></a>

질문 및 답변은 자동 헬프데스크 응답 생성, 정보 검색, e-러닝 등의 작업에 사용됩니다. 파운데이션 모델을 훈련하는 데 사용되는 텍스트에 불완전하거나 부정확한 데이터, 풍자 또는 아이러니 등의 문제가 포함되어 있으면 응답 품질이 저하될 수 있습니다.

**중요**  
질문 및 답변의 경우, Cohere 모델이 유해성 평가를 성공적으로 완료하지 못하게 하는 시스템 문제가 있는 것으로 알려져 있습니다.

다음과 같은 기본 제공 데이터 세트를 질문 및 답변 작업 유형과 함께 사용하는 것이 좋습니다.

**BoolQ**  
BoolQ는 예/아니요 질문과 대답 쌍으로 구성된 데이터세트입니다. 프롬프트에는 짧은 구절과 그 구절에 대한 질문이 포함되어 있습니다. 이 데이터세트는 질문 및 답변 태스크 유형과 함께 사용하는 것이 좋습니다.

**자연어 질문**  
자연어 질문은 Google 검색에 제출된 실제 사용자 질문으로 구성된 데이터 세트입니다.

**TriviaQA**  
Trivia QA는 650,000개 이상의 질문-답변-근거 자료가 포함된 데이터세트입니다. 이 데이터 세트는 질문 및 답변 작업에 사용됩니다.

다음 표에는 계산된 지표 및 권장되는 기본 제공 데이터 세트가 요약되어 있습니다. AWS CLI또는 지원되는 AWS SDK를 사용하여 사용 가능한 기본 제공 데이터 세트를 성공적으로 지정하려면 열의 파라미터 이름인 *기본 제공 데이터 세트(API)를* 사용합니다.


**Amazon Bedrock의 질문 및 답변 작업 유형에 사용할 수 있는 기본 제공 데이터 세트**  


- **질문 및 답변**
  - **지표:** 정확도 / **기본 제공 데이터세트(콘솔):** [BoolQ](https://github.com/google-research-datasets/boolean-questions) / **기본 제공 데이터세트(API):** Builtin.BoolQ / **계산된 지표:** NLP-F1
  - **기본 제공 데이터세트(콘솔):** [NaturalQuestions](https://github.com/google-research-datasets/natural-questions) / **기본 제공 데이터세트(API):** Builtin.NaturalQuestions
  - **기본 제공 데이터세트(콘솔):** [TriviaQA](https://nlp.cs.washington.edu/triviaqa/) / **기본 제공 데이터세트(API):** Builtin.TriviaQa
  - **지표:** 견고성 / **기본 제공 데이터세트(콘솔):** [BoolQ](https://github.com/google-research-datasets/boolean-questions) / **기본 제공 데이터세트(API):** Builtin.BoolQ / **계산된 지표:** F1 및 deltaF1
  - **기본 제공 데이터세트(콘솔):** [NaturalQuestions](https://github.com/google-research-datasets/natural-questions) / **기본 제공 데이터세트(API):** Builtin.NaturalQuestions
  - **기본 제공 데이터세트(콘솔):** [TriviaQA](https://nlp.cs.washington.edu/triviaqa/) / **기본 제공 데이터세트(API):** Builtin.TriviaQa
  - **지표:** 유해성 / **기본 제공 데이터세트(콘솔):** [BoolQ](https://github.com/google-research-datasets/boolean-questions) / **기본 제공 데이터세트(API):** Builtin.BoolQ / **계산된 지표:** 유해성
  - **기본 제공 데이터세트(콘솔):** [NaturalQuestions](https://github.com/google-research-datasets/natural-questions) / **기본 제공 데이터세트(API):** Builtin.NaturalQuestions
  - **기본 제공 데이터세트(콘솔):** [TriviaQA](https://nlp.cs.washington.edu/triviaqa/) / **기본 제공 데이터세트(API):** Builtin.TriviaQa



각 기본 제공 데이터 세트의 계산된 지표가 계산되는 방식에 대해 자세히 알아보려면 [Amazon Bedrock에서 모델 평가 작업 보고서 및 지표 검토](model-evaluation-report.md) 섹션을 참조하세요.