기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# Amazon Bedrock 평가 도구 세트를 사용하여 RAG 소스의 성능 평가
계산된 지표를 사용하여 검색 증강 생성(RAG) 시스템이 데이터 소스에서 관련 정보를 얼마나 효과적으로 검색하는지, 생성된 응답이 질문에 얼마나 효과적으로 답변하는지 평가할 수 있습니다. RAG 평가 결과를 통해 다양한 Amazon Bedrock 지식 기반과 기타 RAG 소스를 비교한 다음 애플리케이션에 가장 적합한 지식 기반 또는 RAG 시스템을 선택할 수 있습니다.
서로 다른 두 가지 유형의 RAG 평가 작업을 설정할 수 있습니다.
+ **검색 전용** - *검색 전용* RAG 평가 작업에서 보고서는 RAG 소스에서 검색된 데이터를 기반으로 합니다. Amazon Bedrock 지식 기반을 평가하거나 외부 RAG 소스에서 자체 추론 응답 데이터를 가져올 수 있습니다.
+ **검색 및 생성** - *검색 및 생성* RAG 평가 작업에서 보고서는 지식 기반에서 검색된 데이터와 응답 생성기 모델에서 생성된 요약을 기반으로 합니다. Amazon Bedrock 지식 기반 및 응답 생성기 모델을 사용하거나 외부 RAG 소스에서 자체 추론 응답 데이터를 가져올 수 있습니다.
## 지원되는 모델
RAG 평가 작업을 생성하려면 다음 목록에 있는 평가자 모델 중 하나 이상에 대한 액세스 권한이 필요합니다. Amazon Bedrock 모델을 사용하여 응답을 생성하는 검색 및 생성 작업을 생성하려면 나열된 생성기 응답 모델 중 하나 이상에 대한 액세스 권한도 필요합니다.
모델 및 리전 가용성에 대한 액세스 권한을 얻는 방법에 대한 자세한 내용은 [모델에 대한 액세스 요청](model-access.md) 섹션을 참조하세요.
### 지원되는 평가자 모델(기본 제공 지표)
+ Amazon Nova Pro – `amazon.nova-pro-v1:0`
+ Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0`
+ Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0`
+ Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0`
+ Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0`
+ Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0`
+ Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0`
+ Mistral Large – `mistral.mistral-large-2402-v1:0`
[교차 리전 추론](cross-region-inference.md) 프로파일은 나열된 모델에서 지원됩니다. 자세한 내용은 [지원되는 교차 리전 추론 프로파일](inference-profiles-support.md#inference-profiles-support-system) 섹션을 참조하세요.
### 지원되는 평가자 모델(사용자 지정 지표)
+ Mistral Large 24.02 – `mistral.mistral-large-2402-v1:0`
+ Mistral Large 24.07 – `mistral.mistral-large-2407-v1:0`
+ Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0`
+ Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0`
+ Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0`
+ Anthropic Claude 3 Haiku 3 – `anthropic.claude-3-haiku-20240307-v1:0`
+ Anthropic Claude 3 Haiku 3.5 – `anthropic.claude-3-5-haiku-20241022-v1:0`
+ Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0`
+ Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0`
+ Amazon Nova Pro – `amazon.nova-pro-v1:0`
[교차 리전 추론](cross-region-inference.md) 프로파일은 나열된 모델에서 지원됩니다. 자세한 내용은 [지원되는 교차 리전 추론 프로파일](inference-profiles-support.md#inference-profiles-support-system) 섹션을 참조하세요.
### 지원되는 응답 생성기 모델
Amazon Bedrock에서 다음 모델 유형을 평가 작업의 응답 생성기 모델로 사용할 수 있습니다. 또한, 비 Amazon Bedrock 모델에서 자체 추론 응답 데이터를 가져올 수도 있습니다.
+ 파운데이션 모델 - [Bedrock에서 모델 사용](foundation-models-reference.md)
+ Amazon Bedrock Marketplace 모델 - [Amazon Bedrock Marketplace](amazon-bedrock-marketplace.md)
+ 사용자 지정 파운데이션 모델 - [모델을 사용자 지정하여 사용 사례에 맞게 성능 개선](custom-models.md)
+ 가져온 파운데이션 모델 - [사용자 지정 모델 가져오기를 사용하여 사용자 지정 오픈 소스 모델을 Amazon Bedrock으로 가져오기](model-customization-import-model.md)
+ 프롬프트 라우터 - [Amazon Bedrock의 Intelligent Prompt Routing 이해](prompt-routing.md)
+ 프로비저닝된 처리량을 구매한 모델 - [Amazon Bedrock에서 프로비저닝된 처리량으로 모델 간접 호출 용량 증대](prov-throughput.md)