推理模型評估 - Amazon SageMaker AI
概觀配方組態使用 reasoning_effort 參數

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

推理模型評估

概觀

推理模型支援可使用具有推理功能的 Nova 模型進行評估，這些模型在產生最終回應之前執行明確的內部推理。此功能透過 reasoning_effort 參數使用 API 層級控制來動態啟用或停用推理功能，進而改善複雜分析任務的回應品質。

支援的模型

  • amazon.nova-2-lite-v1：0：256k

配方組態

將 reasoning_effort 參數新增至配方的 inference區段，以啟用推理：

run:  
  name: reasoning-eval-job-name                          # [MODIFIABLE] Unique identifier for your evaluation job  
  model_type: amazon.nova-2-lite-v1:0:256k               # [FIXED] Must be a reasoning-supported model  
  model_name_or_path: nova-lite-2/prod                   # [FIXED] Path to model checkpoint or identifier  
  replicas: 1                                            # [MODIFIABLE] Number of replicas for SageMaker Training job  
  data_s3_path: ""                                       # [MODIFIABLE] Leave empty for SageMaker Training job; optional for SageMaker HyperPod job  
  output_s3_path: ""                                     # [MODIFIABLE] Output path for SageMaker HyperPod job (not compatible with SageMaker Training jobs)  
  
evaluation:  
  task: mmlu                                             # [MODIFIABLE] Evaluation task  
  strategy: zs_cot                                       # [MODIFIABLE] Evaluation strategy  
  metric: accuracy                                       # [MODIFIABLE] Metric calculation method  
  
inference:  
  reasoning_effort: high                                 # [MODIFIABLE] Enables reasoning mode; options: low/high or null to disable  
  max_new_tokens: 32768                                  # [MODIFIABLE] Maximum tokens to generate, recommended value when reasoning_effort set to high  
  top_k: -1                                              # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0                                             # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0                                         # [MODIFIABLE] Sampling temperature (0 = deterministic)

使用 reasoning_effort 參數

reasoning_effort 參數控制可推理模型的推理行為。

先決條件

  • 模型相容性 – reasoning_effort僅在model_type指定可推理的模型時設定 （目前為 amazon.nova-2-lite-v1:0:256k)

  • 錯誤處理 – reasoning_effort 搭配不支援的模型使用 會失敗 ConfigValidationError: "Reasoning mode is enabled but model '{model_type}' does not support reasoning. Please use a reasoning-capable model or disable reasoning mode."

可用選項

選項 Behavior (行為) 字符限制 使用案例
null （預設） 停用推理模式 N/A 無推理額外負荷的標準評估
low 啟用具有限制條件的推理 用於內部推理的 4，000 個字符 需要簡潔推理的案例；針對速度和成本進行最佳化
high 啟用無限制的推理 內部推理沒有字符限制 需要廣泛分析和step-by-step推理的複雜問題
訓練模式 可用選項 如何設定
SFT （受監督微調） 僅限高或關 使用 reasoning_enabled： true （高） 或 reasoning_enabled： false （關閉）
RFT （強化微調） 低、高或關閉 使用 reasoning_effort：低或 reasoning_effort：高。省略要停用的欄位。
評估 低、高或關閉 使用 reasoning_effort：低或 reasoning_effort：高。使用 null 來停用。

何時啟用推理

使用 的推理模式 (low 或 high)

  • 複雜的問題解決任務 （數學、邏輯拼圖、編碼）

  • 需要中繼推理的多步驟分析問題

  • 詳細說明或step-by-step思考可提高準確性的任務

  • 回應品質優先於速度的情況

針對 使用非原因模式 (null 或 省略參數）

  • 簡單問答或事實查詢

  • 創意撰寫任務

  • 當更快的回應時間至關重要時

  • 應排除推理開銷的績效基準

  • 推理無法改善任務效能時的成本最佳化

疑難排解

錯誤：「啟用原因模式，但模型不支援推理」

原因： reasoning_effort 參數設定為非空值，但指定的 model_type不支援推理。

解決方法：

  • 確認您的模型類型為 amazon.nova-2-lite-v1:0:256k

  • 如果使用不同的模型，請切換到具有推理功能的模型，或從配方中移除 reasoning_effort 參數