# Evaluación del modelo de razonamiento
<a name="nova-reasoning-model-evaluation"></a>

## Descripción general
<a name="nova-reasoning-overview"></a>

La compatibilidad con el modelo de razonamiento permite la evaluación con modelos de Nova capaces de razonar que realizan un razonamiento interno explícito antes de generar las respuestas finales. Esta característica utiliza el control de la API mediante el parámetro `reasoning_effort` para activar o desactivar de forma dinámica la funcionalidad de razonamiento, lo que podría mejorar la calidad de la respuesta en tareas analíticas complejas.

**Modelos compatibles**
+ amazon.nova-2-lite-v1:0:256k

## Configuración de fórmulas
<a name="nova-reasoning-recipe"></a>

Active el razonamiento agregando el parámetro `reasoning_effort` a la sección `inference` de su fórmula:

```
run:  
  name: reasoning-eval-job-name                          # [MODIFIABLE] Unique identifier for your evaluation job  
  model_type: amazon.nova-2-lite-v1:0:256k               # [FIXED] Must be a reasoning-supported model  
  model_name_or_path: nova-lite-2/prod                   # [FIXED] Path to model checkpoint or identifier  
  replicas: 1                                            # [MODIFIABLE] Number of replicas for SageMaker Training job  
  data_s3_path: ""                                       # [MODIFIABLE] Leave empty for SageMaker Training job; optional for SageMaker HyperPod job  
  output_s3_path: ""                                     # [MODIFIABLE] Output path for SageMaker HyperPod job (not compatible with SageMaker Training jobs)  
  
evaluation:  
  task: mmlu                                             # [MODIFIABLE] Evaluation task  
  strategy: zs_cot                                       # [MODIFIABLE] Evaluation strategy  
  metric: accuracy                                       # [MODIFIABLE] Metric calculation method  
  
inference:  
  reasoning_effort: high                                 # [MODIFIABLE] Enables reasoning mode; options: low/high or null to disable  
  max_new_tokens: 32768                                  # [MODIFIABLE] Maximum tokens to generate, recommended value when reasoning_effort set to high  
  top_k: -1                                              # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0                                             # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0                                         # [MODIFIABLE] Sampling temperature (0 = deterministic)
```

## Uso del parámetro reasoning\_effort
<a name="nova-reasoning-parameter"></a>

El parámetro `reasoning_effort` controla el comportamiento de razonamiento de los modelos con capacidad de razonamiento.

### Requisitos previos
<a name="nova-reasoning-prerequisites"></a>
+ **Compatibilidad del modelo**: establezca `reasoning_effort` solo cuando `model_type` especifique un modelo con capacidad de razonamiento (actualmente, `amazon.nova-2-lite-v1:0:256k`).
+ **Gestión de errores**: si se utiliza `reasoning_effort` con modelos no compatibles, se producirá un error: `ConfigValidationError: "Reasoning mode is enabled but model '{model_type}' does not support reasoning. Please use a reasoning-capable model or disable reasoning mode."`

### Opciones disponibles
<a name="nova-reasoning-options"></a>


| Opción | Comportamiento | Límite de tokens | Caso de uso | 
| --- | --- | --- | --- | 
| null (por defecto) | Desactiva el modo de razonamiento | N/A | Evaluación estándar sin sobrecarga de razonamiento | 
| low | Permite razonar con restricciones | 4000 tokens para el razonamiento interno | Escenarios que requieren un razonamiento conciso; optimiza para una mayor velocidad y rentabilidad | 
| high | Permite razonar sin restricciones | El razonamiento interno no tiene un límite de tokens | Problemas complejos que requieren un análisis exhaustivo y un razonamiento paso a paso | 


| Método de entrenamiento | Opciones disponibles | Cómo se configura | 
| --- | --- | --- | 
| SFT (refinamiento supervisado) | Solo Alto o Desactivado | Utilice reasoning\_enabled: true (alto) o reasoning\_enabled: false (desactivado). | 
| RFT (refinamiento por refuerzo) | Bajo, Alto o Desactivado | Utilice reasoning\_effort: bajo o reasoning\_effort: alto. Omita el campo para deshabilitarlo. | 
| Evaluación | Bajo, Alto o Desactivado | Utilice reasoning\_effort: bajo o reasoning\_effort: alto. Utilice nulo para deshabilitarlo. | 

### ¿Cuándo habilitar el razonamiento?
<a name="nova-reasoning-when-to-enable"></a>

**Cuándo se debe usar el modo de razonamiento (`low` o `high`)**
+ Tareas complejas de resolución de problemas (matemáticas, acertijos de lógica, programación).
+ Preguntas analíticas de varios pasos que requieran un razonamiento intermedio.
+ Tareas en las que las explicaciones detalladas o el pensamiento paso a paso mejoren la precisión.
+ Escenarios en los que se dé prioridad a la calidad de la respuesta por encima de la velocidad.

**Cuándo se debe usar el modo sin razonamiento (`null` u omita el parámetro)**
+ Preguntas y respuestas sencillas o consultas fácticas.
+ Tareas de escritura creativa.
+ Tareas en las que los tiempos de respuesta más rápidos sean fundamentales.
+ Evaluación comparativa del rendimiento, en la que debe excluirse la sobrecarga de razonamiento.
+ Priorización de la rentabilidad cuando el razonamiento no mejore el rendimiento de la tarea.

### Solución de problemas
<a name="nova-reasoning-troubleshooting"></a>

**Error: “Reasoning mode is enabled but model does not support reasoning"**

**Causa**: el parámetro `reasoning_effort` está establecido en un valor que no es null, pero el valor especificado para `model_type` no admite el razonamiento.

**Solución**:
+ Compruebe que el tipo de modelo sea `amazon.nova-2-lite-v1:0:256k`.
+ Si utiliza un modelo diferente, cámbielo a un modelo que pueda razonar o elimine el parámetro `reasoning_effort` de la fórmula