As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Avaliação do RFT

O que é avaliação RFT?

A Avaliação RFT permite que você avalie o desempenho do seu modelo usando funções de recompensa personalizadas antes, durante ou após o treinamento de aprendizado por reforço. Ao contrário das avaliações padrão que usam métricas predefinidas, o RFT Evaluation permite que você defina seus próprios critérios de sucesso por meio de uma função Lambda que pontua os resultados do modelo com base em seus requisitos específicos.

Por que avaliar com o RFT?

A avaliação é crucial para determinar se o processo de ajuste fino do RL tem:

Quando usar a avaliação RFT

Use a avaliação de RFT nesses cenários:

Requisitos de formato de dados

Estrutura de dados de entrada

Os dados de entrada da avaliação do RFT devem seguir o formato OpenAI Reinforcement Fine-Tuning. Cada exemplo é um objeto JSON contendo:

Exemplo de formato de dados

{  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "type": "text",  
          "text": "Solve for x. Return only JSON like {\"x\": <number>}. Equation: 2x + 5 = 13"  
        }  
      ]  
    }  
  ],  
  "reference_answer": {  
    "x": 4  
  }  
}

Limitações atuais

Preparando sua receita de avaliação

Exemplo de bloco de notas

Para obter um exemplo completo, consulte Cadernos de avaliação.

Configuração da receita de amostra

run:  
  name: nova-lite-rft-eval-job    
  model_type: amazon.nova-lite-v1:0:300k    
  model_name_or_path: s3://escrow_bucket/model_location # [MODIFIABLE] S3 path to your model or model identifier  
  replicas: 1 # [MODIFIABLE] For SageMaker Training jobs only; fixed for HyperPod jobs  
  data_s3_path: "" # [REQUIRED FOR HYPERPOD] Leave empty for SageMaker Training jobs and use TrainingInput in sagemaker python SDK  
  output_s3_path: "" # [REQUIRED] Output artifact S3 path for evaluation results  
  
evaluation:  
  task: rft_eval # [FIXED] Do not modify  
  strategy: rft_eval # [FIXED] Do not modify  
  metric: all # [FIXED] Do not modify  
  
# Inference Configuration  
inference:  
  max_new_tokens: 8192 # [MODIFIABLE] Maximum tokens to generate  
  top_k: -1 # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0 # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0 # [MODIFIABLE] Sampling temperature (0 = deterministic)  
  top_logprobs: 0 # [MODIFIABLE] Set between 1-20 to enable logprobs output  
  
# =============================================================================  
# Bring Your Own Reinforcement Learning Environment  
# =============================================================================  
rl_env:  
  reward_lambda_arn: arn:aws:lambda:<region>:<account_id>:function:<reward-function-name>

Funções de recompensa predefinidas

Duas funções de recompensa predefinidas (prime_codeeprime_math) da biblioteca verl de código aberto estão disponíveis como uma camada Lambda para fácil integração com suas funções RFT Lambda.

Visão geral do

Essas funções predefinidas fornecem recursos out-of-the-box de avaliação para:

Configuração rápida

função prime_code

Avalia as tarefas de geração de código em Python executando o código em casos de teste e medindo a exatidão.

Exemplo de formato de conjunto de dados de entrada

{"messages":[{"role":"user","content":"Write a function that returns the sum of two numbers."}],"reference_answer":{"inputs":["3\n5","10\n-2","0\n0"],"outputs":["8","8","0"]}}
{"messages":[{"role":"user","content":"Write a function to check if a number is even."}],"reference_answer":{"inputs":["4","7","0","-2"],"outputs":["True","False","True","True"]}}

Recursos principais

função prime_math

Avalia o raciocínio matemático e as capacidades de resolução de problemas com suporte matemático simbólico.

Formato de entrada

{"messages":[{"role":"user","content":"What is the derivative of x^2 + 3x?."}],"reference_answer":"2*x + 3"}

Recursos principais

Requisitos de formato de dados

Para avaliação de código

Para avaliação matemática

Práticas recomendadas

Tratamento de erros

Ambas as funções incluem tratamento robusto de erros para:

Criando sua função de recompensa

Requisitos do Lambda ARN

Seu ARN do Lambda deve seguir este formato:

"arn:aws:lambda:*:*:function:*SageMaker*"

Se o Lambda não tiver esse esquema de nomenclatura, o trabalho falhará com este erro:

[ERROR] Unexpected error: lambda_arn must contain one of: ['SageMaker', 'sagemaker', 'Sagemaker'] when running on SMHP platform (Key: lambda_arn)

Formato de solicitação Lambda

Sua função Lambda recebe dados neste formato:

[  
  {  
    "id": "sample-001",  
    "messages": [  
      {  
        "role": "user",  
        "content": [  
          {  
            "type": "text",  
            "text": "Do you have a dedicated security team?"  
          }  
        ]  
      },  
      {  
        "role": "nova_assistant",  
        "content": [  
          {  
            "type": "text",  
            "text": "As an AI developed by Company, I don't have a dedicated security team..."  
          }  
        ]  
      }  
    ],  
    "reference_answer": {  
      "compliant": "No",  
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."  
    }  
  }  
]

Formato de resposta Lambda

Sua função Lambda deve retornar dados neste formato:

[  
  {  
    "id": "sample-001",  
    "aggregate_reward_score": 0.75,  
    "metrics_list": [  
      {  
        "name": "accuracy",  
        "value": 0.85,  
        "type": "Metric"  
      },  
      {  
        "name": "fluency",  
        "value": 0.90,  
        "type": "Reward"  
      }  
    ]  
  }  
]

Campos de resposta

permissões do IAM

Permissões obrigatórias

Sua função SageMaker de execução deve ter permissões para invocar sua função Lambda. Adicione essa política à sua função SageMaker de execução:

{  
  "Version": "2012-10-17",		 	 	   
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "lambda:InvokeFunction"  
      ],  
      "Resource": "arn:aws:lambda:region:account-id:function:function-name"  
    }  
  ]  
}

Função de execução do Lambda

A função de execução da sua função Lambda precisa de permissões básicas de execução do Lambda:

{  
  "Version": "2012-10-17",		 	 	   
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "logs:CreateLogGroup",  
        "logs:CreateLogStream",  
        "logs:PutLogEvents"  
      ],  
      "Resource": "arn:aws:logs:*:*:*"  
    }  
  ]  
}

Se sua função Lambda acessar outros AWS serviços (por exemplo, S3 para dados de referência, DynamoDB para registro), adicione essas permissões à função de execução do Lambda.

Executando o trabalho de avaliação

Entendendo os resultados da avaliação

Formato de saída

O trabalho de avaliação gera resultados para a localização especificada do S3 no formato JSONL. Cada linha contém os resultados da avaliação de uma amostra:

{  
  "id": "sample-001",  
  "aggregate_reward_score": 0.75,  
  "metrics_list": [  
    {  
      "name": "accuracy",  
      "value": 0.85,  
      "type": "Metric"  
    },  
    {  
      "name": "fluency",  
      "value": 0.90,  
      "type": "Reward"  
    }  
  ]  
}

Como interpretar os resultados do

Pontuação de recompensa agregada

Métricas individuais

Benchmarks de desempenho

O que constitui um desempenho “bom” depende do seu caso de uso:

Solução de problemas

Problemas comuns

Lista de verificação de depuração

Práticas recomendadas

Próximas etapas

Depois de concluir a avaliação do RFT: