Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Valutazione RFT

Cos'è la valutazione RFT?

La valutazione RFT consente di valutare le prestazioni del modello utilizzando funzioni di ricompensa personalizzate prima, durante o dopo il training di reinforcement learning. A differenza delle valutazioni standard che utilizzano metriche predefinite, RFT Evaluation consente di definire i propri criteri di successo tramite una funzione Lambda che valuta i risultati del modello in base ai requisiti specifici.

Perché effettuare una valutazione con RFT?

La valutazione è fondamentale per determinare se il processo di ottimizzazione RL prevede:

Quando utilizzare la valutazione RFT

Usa la valutazione RFT in questi scenari:

Requisiti per il formato dei dati

Struttura dei dati di input

I dati di input per la valutazione RFT devono seguire il formato OpenAI Reinforcement Fine-Tuning . Ogni esempio è un oggetto JSON contenente:

Esempio di formato dei dati

{  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "type": "text",  
          "text": "Solve for x. Return only JSON like {\"x\": <number>}. Equation: 2x + 5 = 13"  
        }  
      ]  
    }  
  ],  
  "reference_answer": {  
    "x": 4  
  }  
}

Limitazioni attuali

Preparazione della ricetta di valutazione

Notebook di esempio

Per un esempio completo, consulta Quaderni di valutazione.

Esempio di configurazione della ricetta

run:  
  name: nova-lite-rft-eval-job    
  model_type: amazon.nova-lite-v1:0:300k    
  model_name_or_path: s3://escrow_bucket/model_location # [MODIFIABLE] S3 path to your model or model identifier  
  replicas: 1 # [MODIFIABLE] For SageMaker Training jobs only; fixed for HyperPod jobs  
  data_s3_path: "" # [REQUIRED FOR HYPERPOD] Leave empty for SageMaker Training jobs and use TrainingInput in SageMaker Python SDK  
  output_s3_path: "" # [REQUIRED] Output artifact S3 path for evaluation results  
  
evaluation:  
  task: rft_eval # [FIXED] Do not modify  
  strategy: rft_eval # [FIXED] Do not modify  
  metric: all # [FIXED] Do not modify  
  
# Inference Configuration  
inference:  
  max_new_tokens: 8192 # [MODIFIABLE] Maximum tokens to generate  
  top_k: -1 # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0 # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0 # [MODIFIABLE] Sampling temperature (0 = deterministic)  
  top_logprobs: 0 # [MODIFIABLE] Set between 1-20 to enable logprobs output  
  
# =============================================================================  
# Bring Your Own Reinforcement Learning Environment  
# =============================================================================  
rl_env:  
  reward_lambda_arn: arn:aws:lambda:<region>:<account_id>:function:<reward-function-name>

Funzioni di ricompensa preimpostate

Due funzioni di ricompensa preimpostate (prime_codeeprime_math) sono disponibili come livello Lambda per una facile integrazione con le funzioni RFT Lambda.

Panoramica di

Queste funzioni preimpostate forniscono funzionalità di valutazione pronte all'uso per:

Configurazione rapida

funzione prime_code

Valuta le attività di generazione del codice Python eseguendo il codice rispetto ai casi di test e misurandone la correttezza.

Esempio di formato del set di dati di input

{"messages":[{"role":"user","content":"Write a function that returns the sum of two numbers."}],"reference_answer":{"inputs":["3\n5","10\n-2","0\n0"],"outputs":["8","8","0"]}}
{"messages":[{"role":"user","content":"Write a function to check if a number is even."}],"reference_answer":{"inputs":["4","7","0","-2"],"outputs":["True","False","True","True"]}}

Caratteristiche principali

funzione prime_math

Valuta le capacità di ragionamento matematico e di risoluzione dei problemi con supporto matematico simbolico.

Formato di input

{"messages":[{"role":"user","content":"What is the derivative of x^2 + 3x?."}],"reference_answer":"2*x + 3"}

Caratteristiche principali

Requisiti per il formato dei dati

Per la valutazione del codice

Per la valutazione matematica

Best practice

Gestione degli errori

Entrambe le funzioni includono una solida gestione degli errori per:

Creazione della funzione di ricompensa

Requisiti Lambda ARN

Il tuo Lambda ARN deve seguire questo formato:

"arn:aws:lambda:*:*:function:*SageMaker*"

Se la Lambda non ha questo schema di denominazione, il processo avrà esito negativo con questo errore:

[ERROR] Unexpected error: lambda_arn must contain one of: ['SageMaker', 'sagemaker', 'Sagemaker'] when running on SMHP platform (Key: lambda_arn)

Formato di richiesta Lambda

La tua funzione Lambda riceve i dati in questo formato:

[  
  {  
    "id": "sample-001",  
    "messages": [  
      {  
        "role": "user",  
        "content": [  
          {  
            "type": "text",  
            "text": "Do you have a dedicated security team?"  
          }  
        ]  
      },  
      {  
        "role": "nova_assistant",  
        "content": [  
          {  
            "type": "text",  
            "text": "As an AI developed by Company, I don't have a dedicated security team..."  
          }  
        ]  
      }  
    ],  
    "reference_answer": {  
      "compliant": "No",  
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."  
    }  
  }  
]

Formato di risposta Lambda

La tua funzione Lambda deve restituire i dati in questo formato:

[  
  {  
    "id": "sample-001",  
    "aggregate_reward_score": 0.75,  
    "metrics_list": [  
      {  
        "name": "accuracy",  
        "value": 0.85,  
        "type": "Metric"  
      },  
      {  
        "name": "fluency",  
        "value": 0.90,  
        "type": "Reward"  
      }  
    ]  
  }  
]

Campi di risposta

autorizzazioni IAM

Autorizzazioni richieste

Il ruolo di SageMaker esecuzione deve disporre delle autorizzazioni per richiamare la funzione Lambda. Aggiungi questa policy al tuo SageMaker ruolo di esecuzione:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "lambda:InvokeFunction"  
      ],  
      "Resource": "arn:aws:lambda:region:account-id:function:function-name"  
    }  
  ]  
}

Ruolo di esecuzione Lambda

Il ruolo di esecuzione della tua funzione Lambda richiede le autorizzazioni di esecuzione Lambda di base:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "logs:CreateLogGroup",  
        "logs:CreateLogStream",  
        "logs:PutLogEvents"  
      ],  
      "Resource": "arn:aws:logs:*:*:*"  
    }  
  ]  
}

Se la tua funzione Lambda accede ad altri AWS servizi (ad esempio, S3 per i dati di riferimento, DynamoDB per la registrazione), aggiungi tali autorizzazioni al ruolo di esecuzione Lambda.

Esecuzione del lavoro di valutazione

Comprensione dei risultati della valutazione

Formato di output

Il processo di valutazione invia i risultati alla posizione S3 specificata in formato JSONL. Ogni riga contiene i risultati della valutazione per un campione:

{  
  "id": "sample-001",  
  "aggregate_reward_score": 0.75,  
  "metrics_list": [  
    {  
      "name": "accuracy",  
      "value": 0.85,  
      "type": "Metric"  
    },  
    {  
      "name": "fluency",  
      "value": 0.90,  
      "type": "Reward"  
    }  
  ]  
}

Interpretazione dei risultati

Punteggio di ricompensa aggregato

Metriche individuali

Parametri di riferimento delle prestazioni

Ciò che costituisce una «buona» prestazione dipende dal caso d'uso:

Risoluzione dei problemi

Problemi comuni

Lista di controllo per il debug

Best practice

Fasi successive

Dopo aver completato la valutazione RFT: