As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Treinamento iterativo

Visão geral do

O treinamento iterativo é o processo de ajustar repetidamente um modelo por meio de vários ciclos de treinamento em diferentes métodos de treinamento — treinar, avaliar, analisar erros, ajustar data/objectives/hyperparameters — com cada rodada começando no ponto de verificação anterior. Essa abordagem permite direcionar sistematicamente os modos de falha do modelo, incorporar exemplos selecionados que abordam pontos fracos específicos e se adaptar às mudanças nos requisitos ao longo do tempo.

Benefícios em relação ao treinamento de etapa única:

Como funciona

Acesso e local do ponto de verificação

Após a conclusão de cada tarefa de treinamento, um arquivo manifesto é gerado no local de saída especificado pelo parâmetro output_path em sua configuração de treinamento.

Para acessar seu ponto de verificação

Exemplo de estrutura manifest.json

{  
  "checkpoint_s3_bucket": "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>/stepID",  
  ...  
}

Noções básicas sobre buckets de depósito

Como os pesos do Amazon Nova são proprietários, os pontos de verificação de modelos treinados são armazenados em buckets S3 de garantia em contas AWS gerenciadas, em vez de serem copiados para sua conta. Esses buckets de depósito:

Você pode usar o caminho do bucket de depósito como model_name_or_path em sua próxima execução de treinamento para continuar o treinamento iterativo.

Uso de pontos de verificação para treinamento iterativo

Configure sua próxima tarefa de treinamento para usar o ponto de verificação anterior como modelo de base:

run:  
  name: "my-iterative-training-job"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<previous-job-name>"  
  data_s3_path: s3://<bucket>/<data-file>.jsonl  
  replicas: 4

Quando usar o treinamento iterativo

Casos de uso ideais

Use o treinamento iterativo quando você tiver:

Exemplos de frameworks robustos de avaliação

Padrões comuns

SFT → Pipeline do RFT: um padrão iterativo usado com frequência envolve:

Essa sequência é essencial quando os modelos têm uma performance inicial ruim. O RFT em modelos de precisão próxima de zero não melhorará a performance sem primeiro estabelecer recursos básicos de resolução de problemas por meio do SFT.

Quando não usar o treinamento iterativo

Evite o treinamento iterativo para:

Exemplo de fluxo de trabalho: SFT → RFT

Este exemplo demonstra um padrão comum de treinamento iterativo para modelos de raciocínio.

Etapa 1: treinamento inicial do SFT

Configure e inicie sua tarefa de treinamento de SFT com seu conjunto de dados:

run:  
  name: "initial-sft-training"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"  
  data_s3_path: s3://<bucket>/sft-training-data.jsonl  
  validation_data_s3_path: s3://<bucket>/sft-validation-data.jsonl

Justificativa: o SFT fornece demonstrações adicionais que moldam as saídas do modelo no formato e na voz desejados, estabelecendo recursos fundamentais.

Após o treinamento ser concluído

Etapa 2: treinamento de RFT no ponto de verificação do SFT

Crie uma nova tarefa de treinamento de RFT usando o ponto de verificação do SFT:

run:  
  name: "rft-on-sft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<initial-sft-training>"  
  data_s3_path: s3://<bucket>/rft-training-data.jsonl  
  reward_lambda_arn: <your-reward-function-arn>

Justificativa: o treinamento de RFT se baseia nos fundamentos do SFT, permitindo que o modelo desenvolva padrões de raciocínio mais complexos, otimizados por sua função de recompensa.

Etapa 3: avaliar e iterar

Execute a avaliação no ponto de verificação do RFT para avaliar a performance:

run:  
  name: "evaluate-rft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<rft-on-sft-checkpoint>"  
  data_s3_path: s3://<bucket>/evaluation-data.jsonl

Se as métricas-alvo não forem satisfeitas, continue iterando com dados ou hiperparâmetros ajustados.

Monitoramento do progresso em todas as iterações

Você pode acompanhar as métricas via MLFlow.

Crie um MLflow aplicativo

Usando a interface do usuário do Studio: se você criar um trabalho de treinamento por meio da interface do usuário do Studio, um MLflow aplicativo padrão será criado automaticamente e selecionado por padrão em Opções avançadas.

Usando a CLI: se você usa a CLI, precisa criar um MLflow aplicativo e passá-lo como entrada para a solicitação da API do trabalho de treinamento.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

Acesse o MLflow aplicativo

Usando a CLI: crie uma URL pré-assinada para acessar a interface do usuário do MLflow aplicativo:

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Usando a interface do usuário do Studio: a interface do usuário do Studio exibe as principais métricas armazenadas MLflow e fornece um link para a interface do usuário do MLflow aplicativo.

Principais métricas a serem acompanhadas

Monitore essas métricas em todas as iterações para avaliar a melhoria e acompanhar o progresso da tarefa:

No SFT

No RFT

Geral

Determinação de quando parar

Pare de iterar quando:

Para obter procedimentos de avaliação detalhados, consulte a seção Avaliação.

Práticas recomendadas

Comece pequeno e escale gradualmente

Comece com conjuntos de dados mínimos e épocas únicas de treinamento para validar sua abordagem antes de aumentar a escala verticalmente. Isso aumenta a confiança e ajuda a identificar problemas de forma antecipada.

Estabelecer métricas de sucesso claras

Defina indicadores quantitativos e qualitativos antes de começar:

Exemplo de métricas de sucesso por caso de uso

Implementar avaliação automatizada

Configure pipelines de avaliação automatizados para monitorar a performance após cada rodada, permitindo uma rápida iteração e comparação objetiva.

Manter um controle de versão rigoroso

Documento para cada iteração:

Isso cria conhecimento institucional e permite a depuração.

Concentrar-se na qualidade dos dados em vez da quantidade

Analise casos de falha de rodadas anteriores e adicione exemplos direcionados e de alta qualidade em vez de simplesmente aumentar o tamanho do conjunto de dados.

Planejar o orçamento de iteração

Planeje de 3 a 5 iterações como um intervalo típico:

Ajuste com base no orçamento computacional e nas taxas de melhoria de performance.

Implementar recursos de reversão

Se uma iteração introduzir regressões:

Exemplo de reversão

run:  
  name: "rollback-to-iteration-2"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  # Use iteration 2 checkpoint instead of failed iteration 3  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<iteration-2-job-name>"

Considerações sobre custos

Armazenamento de pontos de verificação

Dicas de otimização de custos

Limitações

Consistência da família de modelos

Ao treinar iterativamente, você deve usar o mesmo tipo de modelo em todas as iterações.

Treinamento inicial

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"

As iterações subsequentes devem usar o mesmo model_type

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match original  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Consistência da técnica de treinamento

A técnica de treinamento deve permanecer consistente em todas as iterações:

Como os adaptadores LoRA funcionam no treinamento iterativo

Matriz de compatibilidade de técnicas

Verificação da compatibilidade antes de iniciar uma tarefa

Solução de problemas

Erro: “Incompatible model training techniques detected”

Causa: a técnica de treinamento (LoRA vs. full-rank) não corresponde à técnica do ponto de verificação.

Resolução: certifique-se de que sua fórmula use a mesma técnica de treinamento do modelo original:

Erro: “Base model for the job extracted from model_name_or_path does not match model_type”

Causa: o tipo de modelo especificado em model_type não corresponde ao modelo real no ponto de verificação.

Resolução: verifique se:

Exemplo de configuração correta

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match checkpoint's model  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Erro: “Model configuration not found”

Causa: o caminho do S3 em model_name_or_path é inválido ou está inacessível.

Resolução:

Regressão da performance após a iteração

Sintomas: as métricas de avaliação diminuem após uma nova iteração de treinamento.

Resolução: