기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Nova 모델에 대한 강화 미세 조정(RFT)

개요

RFT란 무엇입니까?

강화 미세 조정(RFT)은 정확한 정답이 아닌 측정 가능한 점수 또는 모델의 성과를 나타내는 보상인 피드백 신호를 훈련하여 모델 성능을 개선합니다. 입력-출력 페어에서 학습하는 지도 미세 조정과 달리 RFT는 보상 함수를 사용하여 모델 응답을 평가하고 모델을 반복적으로 최적화하여 이러한 보상을 극대화합니다. 이 접근 방식은 정확한 올바른 출력을 정의하는 것이 어려울 때 뛰어나지만 응답 품질을 안정적으로 측정할 수 있습니다.

RFT를 사용해야 하는 경우

명확하고 측정 가능한 성공 기준을 정의할 수 있지만 훈련에 정확한 결과를 제공하는 데 어려움을 겪는 경우 RFT를 사용합니다. 다음과 같은 경우에 적합합니다.

최상의 사용 사례

RFT는 출력 품질을 객관적으로 측정할 수 있지만 최적의 응답을 미리 정의하기 어려운 도메인에서 뛰어납니다.

지원되는 모델

Amazon Nova Lite 2.0

데이터 형식

RFT 훈련 데이터는 OpenAI 강화 미세 조정 형식을 따라야 합니다. 각 훈련 예제는 다음을 포함하는 JSON 객체입니다.

예: 수학 문제

{
  "id": "sample-001",
  "messages": [
    {
      "role": "system",
      "content": "You are a math tutor"
    },
    {
      "role": "user",
      "content": "Solve: 2x + 5 = 13"
    }
  ],
  "reference_answer": {
    "solution": "x = 4",
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
  }
}

reference_answer 필드에는 보상 함수가 모델의 응답을 채점하는 데 사용하는 예상 출력 또는 평가 기준이 포함되어 있습니다. 구조화된 출력에만 국한되지 않습니다. 보상 함수가 품질을 평가하는 데 도움이 되는 모든 형식을 포함할 수 있습니다.

데이터 세트 크기 권장 사항

시작점

평가 우선 접근 방식

대규모 RFT 훈련에 투자하기 전에 모델의 기준 성능을 평가합니다.

작은 데이터 세트부터 시작하여 보상 함수에 버그가 없는지 확인하고, RFT가 사용 사례에 적합한 접근 방식인지 확인하고, 문제를 조기에 식별 및 수정하고, 스케일 업하기 전에 워크플로를 테스트할 수 있습니다.

효과적인 훈련 데이터의 특성

명확성 및 일관성

좋은 RFT 예제에서는 다양한 모델 출력에서 정확한 보상 계산을 가능하게 하는 명확하고 모호하지 않은 입력 데이터가 필요합니다. 일관되지 않은 형식, 모순된 레이블 또는 지침, 모호한 프롬프트, 충돌하는 참조 답변 등 데이터의 노이즈를 방지합니다. 모호하면 훈련 프로세스가 오해를 받고 모델이 의도하지 않은 동작을 학습하게 됩니다.

다양성

데이터 세트는 강력한 실제 성능을 보장하기 위해 모든 다양한 프로덕션 사용 사례를 캡처해야 합니다. 다양한 입력 형식과 엣지 케이스를 포함하고, 로그 및 사용자 분석의 실제 프로덕션 사용 패턴을 매핑하고, 사용자 유형, 지리적 리전 및 계절적 변형에 걸쳐 샘플링하고, 간단한 문제부터 복잡한 문제까지 난이도 수준을 포함합니다.

보상 함수 고려 사항

효율적인 훈련을 위해 보상 함수를 설계합니다. 몇 초(분 아님) 내에 실행되고,와 효과적으로 병렬화되고AWS Lambda, 일관되고 신뢰할 수 있는 점수를 반환하고, 다양한 유형의 모델 출력을 정상적으로 처리해야 합니다. 빠르고 확장 가능한 보상 함수를 사용하면 빠른 반복과 비용 효율적인 실험이 가능합니다.

추가 속성

RFT 데이터 형식은 핵심 스키마 요구 사항(messages 및 ) 이외의 사용자 지정 필드를 지원합니다reference_answer. 이러한 유연성을 통해 보상 함수가 적절한 평가에 필요한 데이터를 추가할 수 있습니다.

일반적인 추가 속성

이러한 추가 필드는 평가 중에 보상 함수에 전달되므로 특정 사용 사례에 맞게 조정된 정교한 채점 로직이 가능합니다.

추가 속성이 있는 예제

Chemistry problem

{
  "id": "chem-001",
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful chemistry assistant"
    },
    {
      "role": "user",
      "content": "Predict hydrogen bond donors and acceptors for this SMILES: CCN(CC)CCC(=O)c1sc(N)nc1C"
    }
  ],
  "reference_answer": {
    "donor_bond_counts": 2,
    "acceptor_bond_counts": 4
  }
}

reference_answer 필드에는 보상 함수가 모델의 응답을 채점하는 데 사용하는 예상 출력 또는 평가 기준이 포함되어 있습니다. 구조화된 출력에만 국한되지 않습니다. 보상 함수가 품질을 평가하는 데 도움이 되는 모든 형식을 포함할 수 있습니다.

Math problem with metadata

{
  "messages": [
    {
      "role": "system",
      "content": "You are a math tutor"
    },
    {
      "role": "user",
      "content": "Solve: 2x + 5 = 13"
    }
  ],
  "reference_answer": {
    "solution": "x = 4",
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
  },
  "task_id": "algebra_001",
  "difficulty_level": "easy",
  "domain": "algebra",
  "expected_reasoning_steps": 3
}

보상 함수 구현

보상 함수는 모델 응답을 평가하고 숫자 점수를 반환하는 Lambda 함수로 구현됩니다. Lambda 함수는 OpenAI 형식으로 메시지와 실측 정보를 수신하며 점수를 사전으로 반환해야 합니다.

IAM 권한

SageMaker AI 실행 역할에 Lambda 함수에 대한 InvokeFunction 권한이 있는지 확인합니다.

{
  "Version": "2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "lambda:InvokeFunction",
      "Resource": "arn:aws:lambda:us-east-1:123456789012:function:my-reward-function-lambda"
    }
  ]
}

설계 지침

보상 함수를 작성할 때 다음을 수행합니다.

인터페이스 형식

보상 함수는 다음 형식으로 데이터를 수락하고 반환해야 합니다.

입력 구조

[{
  "id": "123",
  "messages": [
    {
      "role": "user",
      "content": "Do you have a dedicated security team?"
    },
    {
      "role": "assistant",
      "content": "As an AI developed by Amazon, I don not have a dedicated security team..."
    }
  ],
  "metadata": {
    "reference_answer": {
      "compliant": "No",
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."
    },
    "my_key": "sample-001"
  }
}]

출력 구조

[{
  "id": "123",
  "aggregate_reward_score": 0.85,
  "metrics_list": [
    {
      "name": "accuracy",
      "value": 0.9,
      "type": "Reward"
    },
    {
      "name": "policy_compliance",
      "value": 0.8,
      "type": "Metric"
    }
  ]
}]

Lambda 함수 예제

from typing import List
import json
from dataclasses import asdict, dataclass

@dataclass
class RewardOutput:
    """Reward service output."""
    id: str
    aggregate_reward_score: float

def lambda_handler(event, context):
    """Main lambda handler"""
    return lambda_grader(event)

def lambda_grader(samples: list[dict]) -> list[dict]:
    """Core grader function"""
    scores: List[RewardOutput] = []
    for sample in samples:
        idx = sample["id"]
        ground_truth = sample.get("metadata", {}).get("reference_answer")
        
        if "messages" not in sample:
            print(f"Messages is None/empty for id: {idx}")
            ro = RewardOutput(id=idx, aggregate_reward_score=0.0)
            scores.append(ro)
            continue
        
        if ground_truth is None:
            print(f"No answer found in ground truth for id: {idx}")
            ro = RewardOutput(id=idx, aggregate_reward_score=0.0)
            scores.append(ro)
            continue
        
        # Get model's response (last turn is assistant turn)
        last_message = sample["messages"][-1]
        assert last_message["role"] == "assistant", "Last message must be from assistant"
        model_text = last_message["content"]
        
        ground_truth_text = _extract_ground_truth_text(ground_truth)
        
        if model_text.lower() == ground_truth_text.lower():
            score = 1.0
        else:
            score = 0.0
        
        ro = RewardOutput(id=idx, aggregate_reward_score=score)
        scores.append(ro)
    
    return [asdict(score) for score in scores]

def _extract_ground_truth_text(ground_truth) -> str:
    """Turn the ground_truth field into a plain string."""
    if isinstance(ground_truth, str):
        return ground_truth
    
    if isinstance(ground_truth, dict):
        if "explanation" in ground_truth and isinstance(ground_truth["explanation"], str):
            return ground_truth["explanation"]
        if "answer" in ground_truth and isinstance(ground_truth["answer"], str):
            return ground_truth["answer"]
        return json.dumps(ground_truth, ensure_ascii=False)
    
    return str(ground_truth)

훈련 구성

SageMaker AI 훈련 작업 노트북 템플릿을 사용하여 훈련 작업을 시작합니다. 자세한 내용은 훈련 작업 생성을 참조하세요.

훈련 컨테이너

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-latest

인스턴스 요구 사항

컨테이너는 전체 순위 및 LoRA 훈련을 모두 지원합니다.

추론 모드 선택

사용 가능한 모드

각 모드를 사용해야 하는 경우

복잡한 분석 작업, 수학적 문제 해결, 다단계 논리적 공제, step-by-step 사고가 가치를 더하는 작업에 high 추론을 사용합니다.

간단한 사실 쿼리, 직접 분류, 속도 및 비용 최적화, 간단한 질문-응답에 대해 none ( 생략reasoning_effort) 또는 low 추론을 사용합니다.

비용 및 성능 장단점

추론 모드가 높을수록 훈련 시간과 비용, 추론 지연 시간 및 비용, 복잡한 추론 작업을 위한 모델 기능이 증가합니다.

교육 모니터링

훈련 로그에는 각 단계의 포괄적인 지표가 포함됩니다. 주요 지표 범주는 다음과 같습니다.

미세 조정된 모델 사용

훈련이 완료되면 최종 모델 체크포인트가 지정된 출력 위치에 저장됩니다. 체크포인트 경로는 훈련 로그와 출력 Amazon S3 위치(노트북의에서 정의)의 manifest.json 파일output_s3_uri에서 사용할 수 있습니다.

제한 사항 및 모범 사례

제한 사항

모범 사례