本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon Nova 模型的強化微調 (RFT)

概觀

什麼是 RFT？

強化微調 (RFT) 透過訓練意見回饋訊號來改善模型效能，這些訊號是可測量的分數或獎勵，指出模型的效能，而不是確切的正確答案。與從輸入輸出對中學習的監督式微調不同，RFT 使用獎勵函數來評估模型回應，並反覆最佳化模型以最大化這些獎勵。此方法在定義確切的正確輸出具有挑戰性時表現卓越，但您可以可靠地測量回應品質。

何時使用 RFT

當您可以定義明確、可衡量的成功條件，但難以提供確切正確的訓練輸出時，請使用 RFT。它非常適合：

最佳使用案例

RFT 在可以客觀測量輸出品質，但難以預先定義最佳回應的網域中表現卓越：

支援的模型

Amazon Nova Lite 2.0

資料格式

RFT 訓練資料必須遵循 OpenAI 強化微調格式。每個訓練範例都是 JSON 物件，其中包含：

範例：數學問題

{
  "id": "sample-001",
  "messages": [
    {
      "role": "system",
      "content": "You are a math tutor"
    },
    {
      "role": "user",
      "content": "Solve: 2x + 5 = 13"
    }
  ],
  "reference_answer": {
    "solution": "x = 4",
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
  }
}

reference_answer 欄位包含預期輸出或評估條件，您的獎勵函數會用來對模型的回應進行評分。不限於結構化輸出，它可以包含任何格式，協助您的獎勵函數評估品質。

資料集大小建議

起點

評估優先方法

投資大規模 RFT 訓練之前，請評估模型的基準效能：

從小型資料集開始，您可以驗證獎勵函數是否無錯誤、確認 RFT 是適合您使用案例的正確方法、及早識別和修正問題，以及在擴展之前測試工作流程。

有效訓練資料的特性

清晰度和一致性

良好的 RFT 範例需要清晰、不明確的輸入資料，以便在不同的模型輸出間進行準確的獎勵計算。避免資料中的雜訊，包括格式不一致、標籤或指示矛盾、不明確提示，以及參考答案衝突。任何模棱兩可的情況都會誤導訓練程序，並導致模型學習非預期的行為。

多樣性

您的資料集應擷取生產使用案例的完整多樣性，以確保強大的實際效能。包含不同的輸入格式和邊緣案例、從日誌和使用者分析映射實際的生產使用模式、跨使用者類型、地理區域和季節性變化的範例，以及包含從簡單到複雜問題的難度等級。

獎勵函數考量事項

設計您的獎勵函數，以進行有效率的訓練。它應該在幾秒鐘 （而不是幾分鐘） 內執行、有效地平行化AWS Lambda、傳回一致、可靠的分數，並正常處理不同類型的模型輸出。快速、可擴展的獎勵函數可實現快速反覆運算和經濟實惠的實驗。

其他屬性

RFT 資料格式支援核心結構描述需求之外的自訂欄位 (messages 和 reference_answer)。此彈性可讓您新增獎勵函數進行適當評估所需的任何其他資料。

常見的其他屬性

這些額外的欄位會在評估期間傳遞給您的獎勵函數，以根據您的特定使用案例量身訂做複雜的評分邏輯。

具有其他屬性的範例

Chemistry problem

{
  "id": "chem-001",
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful chemistry assistant"
    },
    {
      "role": "user",
      "content": "Predict hydrogen bond donors and acceptors for this SMILES: CCN(CC)CCC(=O)c1sc(N)nc1C"
    }
  ],
  "reference_answer": {
    "donor_bond_counts": 2,
    "acceptor_bond_counts": 4
  }
}

reference_answer 欄位包含預期輸出或評估條件，您的獎勵函數會用來對模型的回應進行評分。不限於結構化輸出，它可以包含任何格式，協助您的獎勵函數評估品質。

Math problem with metadata

{
  "messages": [
    {
      "role": "system",
      "content": "You are a math tutor"
    },
    {
      "role": "user",
      "content": "Solve: 2x + 5 = 13"
    }
  ],
  "reference_answer": {
    "solution": "x = 4",
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]
  },
  "task_id": "algebra_001",
  "difficulty_level": "easy",
  "domain": "algebra",
  "expected_reasoning_steps": 3
}

實作獎勵函數

獎勵函數會實作為評估模型回應和傳回數值分數的 Lambda 函數。Lambda 函數會以 OpenAI 格式接收訊息和基本事實，且必須以字典的形式傳回分數。

IAM 許可

確保您的 SageMaker AI 執行角色具有 Lambda 函數的InvokeFunction許可。

{
  "Version": "2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "lambda:InvokeFunction",
      "Resource": "arn:aws:lambda:us-east-1:123456789012:function:my-reward-function-lambda"
    }
  ]
}

設計指導方針

撰寫獎勵函數時，請執行下列動作：

介面格式

您的獎勵函數必須接受並傳回下列格式的資料。

輸入結構

[{
  "id": "123",
  "messages": [
    {
      "role": "user",
      "content": "Do you have a dedicated security team?"
    },
    {
      "role": "assistant",
      "content": "As an AI developed by Amazon, I don not have a dedicated security team..."
    }
  ],
  "metadata": {
    "reference_answer": {
      "compliant": "No",
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."
    },
    "my_key": "sample-001"
  }
}]

輸出結構

[{
  "id": "123",
  "aggregate_reward_score": 0.85,
  "metrics_list": [
    {
      "name": "accuracy",
      "value": 0.9,
      "type": "Reward"
    },
    {
      "name": "policy_compliance",
      "value": 0.8,
      "type": "Metric"
    }
  ]
}]

Lambda 函數範例

from typing import List
import json
from dataclasses import asdict, dataclass

@dataclass
class RewardOutput:
    """Reward service output."""
    id: str
    aggregate_reward_score: float

def lambda_handler(event, context):
    """Main lambda handler"""
    return lambda_grader(event)

def lambda_grader(samples: list[dict]) -> list[dict]:
    """Core grader function"""
    scores: List[RewardOutput] = []
    for sample in samples:
        idx = sample["id"]
        ground_truth = sample.get("metadata", {}).get("reference_answer")
        
        if "messages" not in sample:
            print(f"Messages is None/empty for id: {idx}")
            ro = RewardOutput(id=idx, aggregate_reward_score=0.0)
            scores.append(ro)
            continue
        
        if ground_truth is None:
            print(f"No answer found in ground truth for id: {idx}")
            ro = RewardOutput(id=idx, aggregate_reward_score=0.0)
            scores.append(ro)
            continue
        
        # Get model's response (last turn is assistant turn)
        last_message = sample["messages"][-1]
        assert last_message["role"] == "assistant", "Last message must be from assistant"
        model_text = last_message["content"]
        
        ground_truth_text = _extract_ground_truth_text(ground_truth)
        
        if model_text.lower() == ground_truth_text.lower():
            score = 1.0
        else:
            score = 0.0
        
        ro = RewardOutput(id=idx, aggregate_reward_score=score)
        scores.append(ro)
    
    return [asdict(score) for score in scores]

def _extract_ground_truth_text(ground_truth) -> str:
    """Turn the ground_truth field into a plain string."""
    if isinstance(ground_truth, str):
        return ground_truth
    
    if isinstance(ground_truth, dict):
        if "explanation" in ground_truth and isinstance(ground_truth["explanation"], str):
            return ground_truth["explanation"]
        if "answer" in ground_truth and isinstance(ground_truth["answer"], str):
            return ground_truth["answer"]
        return json.dumps(ground_truth, ensure_ascii=False)
    
    return str(ground_truth)

訓練組態

使用 SageMaker AI 訓練任務筆記本範本來啟動訓練任務。如需詳細資訊，請參閱建立訓練任務。

訓練容器

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-latest

執行個體需求

容器同時支援完整排名和 LoRA 訓練：

原因模式選擇

可用模式

何時使用每個模式

針對複雜的分析任務、數學問題解決、多步驟邏輯扣除，以及step-by-step思考可增加價值的任務，使用high推理。

使用 none（省略 reasoning_effort) 或low推理簡單的事實查詢、直接分類、速度和成本最佳化，以及直接的問答。

成本和效能權衡

較高的推理模式會增加訓練時間和成本、推論延遲和成本，以及複雜推理任務的模型功能。

監控訓練

訓練日誌包含每個步驟的全方位指標。金鑰指標類別包括下列項目：

使用微調的模型

訓練完成後，最終模型檢查點會儲存到您指定的輸出位置。檢查點路徑可在訓練日誌和輸出 Amazon S3 位置 （在筆記本output_s3_uri中由 定義） 中的 manifest.json 檔案中使用。

限制和最佳實務

限制

最佳實務