기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# SageMaker Clarify를 사용하여 대규모 언어 모델을 평가하기 위한 옵션 이해
<a name="clarify-foundation-model-evaluate"></a>

**중요**  
SageMaker Clarify 파운데이션 모델 평가를 사용하려면 새 Studio 경험으로 업그레이드해야 합니다. 2023년 11월 30일부터 이전 Amazon SageMaker Studio 환경이 이제 Amazon SageMaker Studio Classic으로 명명되었습니다. 파운데이션 평가 기능은 업데이트된 경험에서만 사용할 수 있습니다. Studio를 업데이트하는 방법에 대한 자세한 내용은 [Amazon SageMaker Studio Classic에서 마이그레이션](studio-updated-migrate.md) 섹션을 참조하세요. Studio Classic 애플리케이션 사용에 대한 자세한 내용은 [Amazon SageMaker Studio Classic](studio.md) 섹션을 참조하세요.

Amazon SageMaker Clarify를 사용하면 모델 평가 작업을 만들어 대규모 언어 모델(LLM)을 평가할 수 있습니다. 모델 평가 작업을 사용하면 JumpStart의 텍스트 기반 파운데이션 모델에 대한 모델 품질 및 책임 지표를 평가하고 비교할 수 있습니다. 모델 평가 작업은 엔드포인트에 이미 배포된 JumpStart 모델의 사용도 지원합니다.

세 가지 접근 방식을 사용하여 모델 평가 작업을 만들 수 있습니다.
+ Studio에서 자동 모델 평가 작업 생성 - 자동 모델 평가 작업을 사용하면 모델의 작업 수행 능력을 빠르게 평가할 수 있습니다. 특정 사용 사례에 맞게 조정한 사용자 지정 프롬프트 데이터세트를 제공하거나 사용 가능한 내장형 데이터세트를 사용할 수 있습니다.
+ Studio에서 인간 작업자를 사용하는 모델 평가 작업 만들기 - 인간 작업자를 사용하는 모델 평가 작업을 사용하면 모델 평가 프로세스에 인간이 개입할 수 있습니다. 이들은 회사 직원이거나 업계의 분야별 전문가 그룹일 수 있습니다.
+ `fmeval` 라이브러리를 사용하여 자동 모델 평가 작업 생성 - `fmeval`을 사용하여 작업을 만들면 모델 평가 작업을 가장 세밀하게 제어할 수 있습니다. 또한 다른 서비스의 LLMs AWS 또는 비 JumpStart 기반 모델 사용도 지원합니다.

모델 평가 작업은 텍스트 생성, 텍스트 분류, 질문 및 답변, 텍스트 요약과 같은 LLM의 일반적인 사용 사례를 지원합니다.
+ **개방형 세대** - 사전 정의된 구조가 없는 텍스트에 대한 자연적인 인적 응답을 생성합니다.
+ **텍스트 요약** - 더 광범위한 텍스트에 포함된 의미와 주요 정보를 유지하면서 간결하고 압축된 요약을 생성합니다.
+ **질문 답변**- 프롬프트에 대해 적절하고 정확한 답변을 생성합니다.
+ **분류** - 콘텐츠에 따라 텍스트에 레이블 또는 점수와 같은 범주를 올바르게 할당합니다.

다음 주제에서는 사용 가능한 모델 평가 작업과 사용할 수 있는 지표 종류에 대해 설명합니다. 또한 사용 가능한 내장형 데이터세트와 자체 데이터세트를 지정하는 방법도 설명합니다.

**Topics**
+ [파운데이션 모델 평가란 무엇인가요?](clarify-foundation-model-evaluate-whatis.md)
+ [모델 평가 시작하기](clarify-foundation-model-evaluate-get-started.md)
+ [모델 평가 작업에서 프롬프트 데이터세트 및 사용 가능한 평가 차원 사용](clarify-foundation-model-evaluate-overview.md)
+ [작업자를 사용하는 모델 평가 작업 만들기](clarify-foundation-model-evaluate-human.md)
+ [자동 모델 평가](clarify-foundation-model-evaluate-auto.md)
+ [모델 평가 작업의 결과 이해](clarify-foundation-model-evaluate-results.md)
+ [`fmeval` 라이브러리를 사용하여 워크플로 사용자 지정](clarify-foundation-model-evaluate-auto-lib-custom.md)
+ [모델 평가 노트북 자습서](clarify-foundation-model-evaluate-auto-tutorial.md)
+ [Amazon SageMaker AI에서 모델 평가 작업을 만들 때 발생하는 오류 해결](clarify-foundation-model-evaluate-troubleshooting.md)