기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

지식 기반을 사용하여 모델 추론을 위한 응답 생성 구성

특정 파운데이션 모델은 더 크고 복잡한 작업을 수행하고 더 작고 간단한 단계로 분류하는 모델 추론을 수행할 수 있습니다. 사고 체인(CoT) 추론이라고도 하는이 프로세스는 모델이 응답하기 전에 생각할 수 있는 기회를 제공하여 모델 정확도를 개선할 수 있습니다. 모델 추론은 다단계 분석, 수학 문제, 복잡한 추론 작업과 같은 작업에 가장 유용합니다. 자세한 내용은 모델 추론을 사용하여 모델 응답 향상 단원을 참조하십시오.

모델 추론이 활성화되면 정확도가 향상되고 인용 결과가 향상될 수 있지만 지연 시간이 증가할 수 있습니다. 다음은 Amazon Bedrock 지식 기반에서 추론 모델을 사용하여 데이터 소스를 쿼리하고 응답을 생성할 때 고려해야 할 몇 가지 사항입니다.

추론 모델

모델 추론은 다음 모델에 사용할 수 있습니다.

Claude 3.7 Sonnet에 모델 추론 사용

Claude 3.7 Sonnet 모델을 사용하는 경우 RetrieveAndGenerate API의 additionalModelRequestFields 파라미터를 사용하여 모델 추론을 활성화하거나 비활성화할 수 있습니다. 이 파라미터는 모든 키-값 페어를 허용합니다. 예를 들어 아래와 같이 reasoningConfig 필드를 추가하고 type 키를 사용하여 추론을 활성화하거나 비활성화할 수 있습니다.

{
   "input": { 
      "text": "string",
      "retrieveAndGenerateConfiguration": { 
      "knowledgeBaseConfiguration": { 
         "generationConfiguration": { 
            "additionalModelRequestFields": {
                "reasoningConfig" : {
                    "type": "enabled",
                    "budget_tokens": INT_VAL, #required when enabled
                }
            }
         },
         "knowledgeBaseId": "string",
      },
      "type": "string"
   },
   "sessionId": "string"
}

일반적인 고려 사항

다음은 지식 기반에 추론 모델을 사용하기 위한 몇 가지 일반적인 고려 사항입니다.

API 고려 사항 검색 및 생성

다음은 추론 모델에 RetrieveAndGenerate API를 사용할 때 고려해야 할 몇 가지 사항입니다.