기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

RFT 평가

RFT 평가란 무엇입니까?

RFT 평가를 사용하면 강화 학습 훈련 전, 중 또는 후에 사용자 지정 보상 함수를 사용하여 모델의 성능을 평가할 수 있습니다. 미리 정의된 지표를 사용하는 표준 평가와 달리 RFT 평가를 사용하면 특정 요구 사항에 따라 모델 출력을 채점하는 Lambda 함수를 통해 자체 성공 기준을 정의할 수 있습니다.

RFT로를 평가하는 이유는 무엇입니까?

RL 미세 조정 프로세스에 다음이 있는지 확인하려면 평가가 중요합니다.

RFT 평가를 사용해야 하는 경우

다음 시나리오에서 RFT 평가를 사용합니다.

데이터 형식 요구 사항

입력 데이터 구조

RFT 평가 입력 데이터는 OpenAI 강화 미세 조정 형식을 따라야 합니다. 각 예제는 다음을 포함하는 JSON 객체입니다.

데이터 형식 예제

{  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "type": "text",  
          "text": "Solve for x. Return only JSON like {\"x\": <number>}. Equation: 2x + 5 = 13"  
        }  
      ]  
    }  
  ],  
  "reference_answer": {  
    "x": 4  
  }  
}

현재 제한 사항

평가 레시피 준비

샘플 노트북

전체 예제는 평가 노트북을 참조하세요.

샘플 레시피 구성

run:  
  name: nova-lite-rft-eval-job    
  model_type: amazon.nova-lite-v1:0:300k    
  model_name_or_path: s3://escrow_bucket/model_location # [MODIFIABLE] S3 path to your model or model identifier  
  replicas: 1 # [MODIFIABLE] For SageMaker Training jobs only; fixed for HyperPod jobs  
  data_s3_path: "" # [REQUIRED FOR HYPERPOD] Leave empty for SageMaker Training jobs and use TrainingInput in sagemaker python SDK  
  output_s3_path: "" # [REQUIRED] Output artifact S3 path for evaluation results  
  
evaluation:  
  task: rft_eval # [FIXED] Do not modify  
  strategy: rft_eval # [FIXED] Do not modify  
  metric: all # [FIXED] Do not modify  
  
# Inference Configuration  
inference:  
  max_new_tokens: 8192 # [MODIFIABLE] Maximum tokens to generate  
  top_k: -1 # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0 # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0 # [MODIFIABLE] Sampling temperature (0 = deterministic)  
  top_logprobs: 0 # [MODIFIABLE] Set between 1-20 to enable logprobs output  
  
# =============================================================================  
# Bring Your Own Reinforcement Learning Environment  
# =============================================================================  
rl_env:  
  reward_lambda_arn: arn:aws:lambda:<region>:<account_id>:function:<reward-function-name>

보상 함수 사전 설정

오픈 소스 verl 라이브러리의 두 가지 사전 설정 보상 함수(prime_code 및 prime_math)를 RFT Lambda 함수와 쉽게 통합할 수 있도록 Lambda 계층으로 사용할 수 있습니다.

개요

이러한 사전 설정 함수는 다음에 대한 out-of-the-box 평가 기능을 제공합니다.

빠른 설정

prime_code 함수

테스트 사례에 대해 코드를 실행하고 정확성을 측정하여 Python 코드 생성 작업을 평가합니다.

입력 데이터 세트 형식의 예

{"messages":[{"role":"user","content":"Write a function that returns the sum of two numbers."}],"reference_answer":{"inputs":["3\n5","10\n-2","0\n0"],"outputs":["8","8","0"]}}
{"messages":[{"role":"user","content":"Write a function to check if a number is even."}],"reference_answer":{"inputs":["4","7","0","-2"],"outputs":["True","False","True","True"]}}

주요 기능

prime_math 함수

심볼 수학 지원을 통해 수학 추론 및 문제 해결 기능을 평가합니다.

입력 형식

{"messages":[{"role":"user","content":"What is the derivative of x^2 + 3x?."}],"reference_answer":"2*x + 3"}

주요 기능

데이터 형식 요구 사항

코드 평가용

수학 평가의 경우

모범 사례

오류 처리

두 함수 모두 다음에 대한 강력한 오류 처리를 포함합니다.

보상 함수 생성

Lambda ARN 요구 사항

Lambda ARN은 다음 형식을 따라야 합니다.

"arn:aws:lambda:*:*:function:*SageMaker*"

Lambda에이 이름 지정 체계가 없는 경우이 오류와 함께 작업이 실패합니다.

[ERROR] Unexpected error: lambda_arn must contain one of: ['SageMaker', 'sagemaker', 'Sagemaker'] when running on SMHP platform (Key: lambda_arn)

Lambda 요청 형식

Lambda 함수는 다음 형식으로 데이터를 수신합니다.

[  
  {  
    "id": "sample-001",  
    "messages": [  
      {  
        "role": "user",  
        "content": [  
          {  
            "type": "text",  
            "text": "Do you have a dedicated security team?"  
          }  
        ]  
      },  
      {  
        "role": "nova_assistant",  
        "content": [  
          {  
            "type": "text",  
            "text": "As an AI developed by Company, I don't have a dedicated security team..."  
          }  
        ]  
      }  
    ],  
    "reference_answer": {  
      "compliant": "No",  
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."  
    }  
  }  
]

Lambda 응답 형식

Lambda 함수는 다음 형식으로 데이터를 반환해야 합니다.

[  
  {  
    "id": "sample-001",  
    "aggregate_reward_score": 0.75,  
    "metrics_list": [  
      {  
        "name": "accuracy",  
        "value": 0.85,  
        "type": "Metric"  
      },  
      {  
        "name": "fluency",  
        "value": 0.90,  
        "type": "Reward"  
      }  
    ]  
  }  
]

응답 필드

IAM 권한

필수 권한

SageMaker 실행 역할에는 Lambda 함수를 호출할 수 있는 권한이 있어야 합니다. 이 정책을 SageMaker 실행 역할에 추가합니다.

{  
  "Version": "2012-10-17",		 	 	   
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "lambda:InvokeFunction"  
      ],  
      "Resource": "arn:aws:lambda:region:account-id:function:function-name"  
    }  
  ]  
}

Lambda 실행 역할

Lambda 함수의 실행 역할에는 기본 Lambda 실행 권한이 필요합니다.

{  
  "Version": "2012-10-17",		 	 	   
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "logs:CreateLogGroup",  
        "logs:CreateLogStream",  
        "logs:PutLogEvents"  
      ],  
      "Resource": "arn:aws:logs:*:*:*"  
    }  
  ]  
}

Lambda 함수가 다른 AWS 서비스(예: 참조 데이터의 경우 S3, 로깅의 경우 DynamoDB)에 액세스하는 경우 Lambda 실행 역할에 해당 권한을 추가합니다.

평가 작업 실행

평가 결과 이해

출력 형식

평가 작업은 결과를 지정된 S3 위치에 JSONL 형식으로 출력합니다. 각 줄에는 하나의 샘플에 대한 평가 결과가 포함됩니다.

{  
  "id": "sample-001",  
  "aggregate_reward_score": 0.75,  
  "metrics_list": [  
    {  
      "name": "accuracy",  
      "value": 0.85,  
      "type": "Metric"  
    },  
    {  
      "name": "fluency",  
      "value": 0.90,  
      "type": "Reward"  
    }  
  ]  
}

결과 해석

보상 점수 집계

개별 지표

성능 벤치마크

"좋은" 성능을 구성하는 요소는 사용 사례에 따라 달라집니다.

문제 해결

일반적인 문제

디버그 체크리스트

모범 사례

다음 단계

RFT 평가를 완료한 후: