추론 모델 평가 - Amazon SageMaker AI
개요레시피 구성reasoning_effort 파라미터 사용

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

추론 모델 평가

개요

추론 모델 지원을 사용하면 최종 응답을 생성하기 전에 명시적인 내부 추론을 수행하는 추론이 가능한 Nova 모델을 사용하여 평가할 수 있습니다. 이 기능은 reasoning_effort 파라미터를 통한 API 수준 제어를 사용하여 추론 기능을 동적으로 활성화하거나 비활성화하여 복잡한 분석 작업에 대한 응답 품질을 개선할 수 있습니다.

지원되는 모델

  • amazon.nova-2-lite-v1:0:256k

레시피 구성

레시피의 inference 섹션에 reasoning_effort 파라미터를 추가하여 추론을 활성화합니다.

run:  
  name: reasoning-eval-job-name                          # [MODIFIABLE] Unique identifier for your evaluation job  
  model_type: amazon.nova-2-lite-v1:0:256k               # [FIXED] Must be a reasoning-supported model  
  model_name_or_path: nova-lite-2/prod                   # [FIXED] Path to model checkpoint or identifier  
  replicas: 1                                            # [MODIFIABLE] Number of replicas for SageMaker Training job  
  data_s3_path: ""                                       # [MODIFIABLE] Leave empty for SageMaker Training job; optional for SageMaker HyperPod job  
  output_s3_path: ""                                     # [MODIFIABLE] Output path for SageMaker HyperPod job (not compatible with SageMaker Training jobs)  
  
evaluation:  
  task: mmlu                                             # [MODIFIABLE] Evaluation task  
  strategy: zs_cot                                       # [MODIFIABLE] Evaluation strategy  
  metric: accuracy                                       # [MODIFIABLE] Metric calculation method  
  
inference:  
  reasoning_effort: high                                 # [MODIFIABLE] Enables reasoning mode; options: low/high or null to disable  
  max_new_tokens: 32768                                  # [MODIFIABLE] Maximum tokens to generate, recommended value when reasoning_effort set to high  
  top_k: -1                                              # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0                                             # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0                                         # [MODIFIABLE] Sampling temperature (0 = deterministic)

reasoning_effort 파라미터 사용

reasoning_effort 파라미터는 추론 가능 모델의 추론 동작을 제어합니다.

사전 조건

  • 모델 호환성 -가 추론 가능 모델을 model_type 지정하는 reasoning_effort 경우에만 설정(현재 amazon.nova-2-lite-v1:0:256k)

  • 오류 처리 - 지원되지 않는 모델reasoning_effort과 함께를 사용하면에서 실패합니다. ConfigValidationError: "Reasoning mode is enabled but model '{model_type}' does not support reasoning. Please use a reasoning-capable model or disable reasoning mode."

사용 가능한 옵션

옵션 동작 토큰 제한 사용 사례:
null(기본값) 추론 모드를 비활성화합니다. 해당 사항 없음 추론 오버헤드가 없는 표준 평가
low 제약 조건과의 추론을 활성화합니다. 내부 추론을 위한 토큰 4,000개 간결한 추론이 필요한 시나리오, 속도와 비용에 맞게 최적화
높음 제약 없이 추론을 활성화합니다. 내부 추론에 대한 토큰 제한 없음 광범위한 분석 및 step-by-step 추론이 필요한 복잡한 문제
훈련 방법 사용 가능한 옵션 구성 방법
SFT(지도 미세 조정) 높음 또는 꺼짐 전용 reasoning_enabled 사용: true(높음) 또는 reasoning_enabled: false(꺼짐)
RFT(보강 미세 조정) 낮음, 높음 또는 꺼짐 reasoning_effort: 낮음 또는 reasoning_effort: 높음을 사용합니다. 비활성화하려면 필드를 생략합니다.
평가 낮음, 높음 또는 꺼짐 reasoning_effort: 낮음 또는 reasoning_effort: 높음을 사용합니다. null을 사용하여 비활성화합니다.

추론을 활성화해야 하는 경우

에 추론 모드(low 또는 high) 사용

  • 복잡한 문제 해결 작업(수학, 로직 퍼즐, 코딩)

  • 중간 추론이 필요한 다단계 분석 질문

  • 자세한 설명 또는 step-by-step 사고로 정확도가 향상되는 작업

  • 응답 품질이 속도보다 우선시되는 시나리오

에 비합리적 모드(null 또는 파라미터 생략) 사용

  • 간단한 Q&A 또는 사실적 쿼리

  • 크리에이티브 쓰기 작업

  • 응답 시간 단축이 중요한 경우

  • 추론 오버헤드를 제외해야 하는 성능 벤치마킹

  • 추론으로 작업 성능이 개선되지 않는 경우의 비용 최적화

문제 해결

오류: "이유 모드가 활성화되었지만 모델이 추론을 지원하지 않음"

원인: reasoning_effort 파라미터가 null이 아닌 값으로 설정되었지만 지정된가 추론을 지원하지 model_type 않습니다.

​해결 방법:

  • 모델 유형이 인지 확인 amazon.nova-2-lite-v1:0:256k

  • 다른 모델을 사용하는 경우 추론이 가능한 모델로 전환하거나 레시피에서 reasoning_effort 파라미터를 제거합니다.