Entrenamiento iterativo

Descripción general

El entrenamiento iterativo es el proceso de refinar repetidamente un modelo realizando varios ciclos de entrenamiento con diferentes métodos de entrenamiento (entrenar, evaluar, analizar errores y ajustar los datos, objetivos o hiperparámetros). Cada ronda comienza desde el punto de control anterior. Este enfoque le permite centrarse sistemáticamente en los modos de error del modelo, incorporar ejemplos seleccionados que aborden puntos débiles específicos y adaptarse a los requisitos que cambian con el tiempo.

Ventajas en comparación con el entrenamiento de una sola iteración:

Funcionamiento

Ubicación de los puntos de control y acceso

Una vez finalizado cada trabajo de entrenamiento, se genera un archivo de manifiesto en la ubicación de salida especificada por el parámetro output_path en la configuración del entrenamiento.

Para acceder al punto de control

Ejemplo de la estructura de manifest.json

{  
  "checkpoint_s3_bucket": "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>/stepID",  
  ...  
}

Explicación de los buckets de custodia

Dado que las ponderaciones de Amazon Nova son exclusivas, los puntos de control de los modelos entrenados se almacenan en buckets de S3 de custodia dentro de las cuentas administradas por AWS, en lugar de copiarlos en su cuenta. Estos buckets de custodia:

Puede usar la ruta del bucket de custodia a modo de model_name_or_path en su próxima sesión de entrenamiento para continuar con el entrenamiento iterativo.

Uso de puntos de control para el entrenamiento iterativo

Configure su siguiente trabajo de entrenamiento para que use el punto de control anterior como modelo base:

run:  
  name: "my-iterative-training-job"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<previous-job-name>"  
  data_s3_path: s3://<bucket>/<data-file>.jsonl  
  replicas: 4

Cuándo utilizar el entrenamiento iterativo

Casos de uso ideales

Utilice el entrenamiento iterativo cuando tenga:

Ejemplos de marcos de evaluación sólidos

Patrones comunes

Canalización SFT → RFT: un patrón iterativo de uso frecuente implica lo siguiente:

Este orden es esencial cuando los modelos tienen un rendimiento deficiente al principio: el RFT en modelos de precisión cercana a cero no mejorará el rendimiento sin establecer primero las capacidades básicas de resolución de problemas mediante el SFT.

Cuándo no utilizar el entrenamiento iterativo

Evite el entrenamiento iterativo en los siguientes casos:

Ejemplo de flujo de trabajo: SFT → RFT

Este ejemplo muestra un patrón de entrenamiento iterativo común para los modelos de razonamiento.

Paso 1: entrenamiento inicial con SFT

Configure e inicie el trabajo de entrenamiento con SFT con su conjunto de datos:

run:  
  name: "initial-sft-training"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"  
  data_s3_path: s3://<bucket>/sft-training-data.jsonl  
  validation_data_s3_path: s3://<bucket>/sft-validation-data.jsonl

Justificación: SFT ofrece demostraciones adicionales que configuran los resultados de los modelos en la voz y el formato deseados, estableciendo las capacidades fundamentales.

Una vez finalizado el entrenamiento

Paso 2: entrenamiento con RFT en el punto de control del SFT

Cree un nuevo trabajo de entrenamiento con RFT utilizando el punto de control del SFT:

run:  
  name: "rft-on-sft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<initial-sft-training>"  
  data_s3_path: s3://<bucket>/rft-training-data.jsonl  
  reward_lambda_arn: <your-reward-function-arn>

Justificación: el entrenamiento con RFT se basa en el SFT, lo que permite al modelo desarrollar patrones de razonamiento más complejos optimizados por su función de recompensa.

Paso 3: evaluación e iteración

Ponga en marcha la evaluación en el punto de control del RFT para evaluar el rendimiento:

run:  
  name: "evaluate-rft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<rft-on-sft-checkpoint>"  
  data_s3_path: s3://<bucket>/evaluation-data.jsonl

Si las métricas objetivo no se cumplen, continúe iterando con los datos o hiperparámetros ajustados.

Supervisión del progreso en las iteraciones

Puede hacer un seguimiento de las métricas mediante MLflow configurando MLflow para sus trabajos.

Creación de una aplicación MLflow

Uso de la interfaz de usuario de Studio: si crea un trabajo de entrenamiento a través de la interfaz de usuario de Studio, se crea automáticamente una aplicación MLflow predeterminada que se selecciona por defecto en Opciones avanzadas.

Uso de la CLI: si usa la CLI, debe crear una aplicación MLflow y pasarla como entrada a la solicitud de la API del trabajo de entrenamiento.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

Acceso a la aplicación MLflow

Uso de la CLI: cree una URL prefirmada para acceder a la interfaz de usuario de la aplicación MLflow:

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Uso de la interfaz de usuario de Studio: la interfaz de usuario de Studio muestra las métricas clave almacenadas en MLflow y proporciona un enlace a la interfaz de usuario de la aplicación MLflow.

Métricas clave para hacer un seguimiento

Supervise estas métricas en las iteraciones para evaluar la mejora y hacer un seguimiento del progreso del trabajo:

Para SFT

Para RFT

General

Cómo determinar cuándo parar

Deje de iterar en los siguientes casos:

Para obtener información detallada sobre los procedimientos de evaluación, consulte la sección Evaluación.

Prácticas recomendadas

Comience en pequeño y amplíe poco a poco

Empiece con conjuntos de datos mínimos y épocas de entrenamiento únicas para validar su enfoque antes de escalar verticalmente. Esto genera confianza y permite identificar los problemas de forma temprana.

Establezca métricas de éxito claras

Defina los indicadores cuantitativos y cualitativos antes de empezar:

Ejemplo de métricas de éxito por caso de uso

Implemente la evaluación automatizada

Configure procesos de evaluación automatizada para hacer un seguimiento del rendimiento después de cada ronda, lo que permitirá una iteración rápida y una comparación objetiva.

Lleve a cabo un control de versiones riguroso

Documente lo siguiente en cada iteración:

Esto crea conocimiento institucional y permite la depuración.

Céntrese en la calidad de datos antes que en la cantidad

Analice los casos de error de rondas anteriores y agregue ejemplos específicos y de alta calidad en lugar de simplemente aumentar el tamaño del conjunto de datos.

Planifique el presupuesto de las iteraciones

Planifique entre 3 y 5 iteraciones como rango habitual:

Ajuste el número en función del presupuesto computacional y las tasas de mejora del rendimiento.

Implemente capacidades de restauración

Si una iteración introduce regresiones, haga lo siguiente:

Ejemplo de reversión

run:  
  name: "rollback-to-iteration-2"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  # Use iteration 2 checkpoint instead of failed iteration 3  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<iteration-2-job-name>"

Consideraciones sobre costos

Almacenamiento de puntos de control

Consejos par optimizar los costos

Limitaciones

Consistencia en la familia de modelos

Al entrenar de forma iterativa, debe usar el mismo tipo de modelo en todas las iteraciones.

Entrenamiento inicial

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"

Las iteraciones posteriores deben usar el mismo model_type

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match original  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Consistencia en la técnica de entrenamiento

La técnica de entrenamiento debe permanecer constante en todas las iteraciones:

Cómo funcionan los adaptadores LoRA en el entrenamiento iterativo

Matriz de compatibilidad de técnicas

Verificación de la compatibilidad antes de comenzar un trabajo

Solución de problemas

Error: “Incompatible model training techniques detected”

Causa: la técnica de entrenamiento (LoRA o rango completo) no coincide con la técnica del punto de control.

Solución: asegúrese de que la fórmula utilice la misma técnica de entrenamiento que el modelo original:

Error: “Base model for the job extracted from model_name_or_path does not match model_type”

Causa: el tipo de modelo especificado en model_type no coincide con el modelo real del punto de control.

Solución: compruebe lo siguiente:

Ejemplo de configuración correcta

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match checkpoint's model  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Error: “Model configuration not found”

Causa: la ruta de S3 de model_name_or_path no es válida o no es accesible.

Solución:

Regresión del rendimiento después de la iteración

Síntomas: las métricas de evaluación disminuyen después de una nueva iteración de entrenamiento.

Solución: