本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker HyperPod 上的強化微調 (RFT)

強化微調 (RFT) 是一種機器學習技術，可透過意見回饋訊號 - 可測量的分數或指出回應品質的獎勵 - 改善模型效能，而不是直接監督並準確回答。與從輸入輸出對中學習的傳統監督式微調不同，RFT 使用獎勵函數來評估模型回應，並反覆最佳化模型以最大化這些獎勵。

此方法對於定義確切正確輸出具有挑戰性的任務特別有效，但您可以可靠地測量回應品質。RFT 可讓模型透過試驗和意見回饋來學習複雜的行為和偏好，非常適合需要細微決策、創意問題解決或遵守可程式設計評估的特定品質標準的應用程式。

何時使用 RFT

當您可以定義明確、可衡量的成功條件，但難以為訓練提供確切正確的輸出時，請使用 RFT。它非常適合品質主觀或多面向的任務，例如創意撰寫、程式碼最佳化或複雜推理，其中有多個有效解決方案，但有些解決方案明顯優於其他解決方案。

當您有以下項目時，RFT 最有效：

對於需要反覆改進、個人化或遵守可編碼為獎勵訊號的複雜業務規則的應用程式，請考慮 RFT。

RFT 最適合什麼

RFT 在可以客觀測量輸出品質，但難以預先定義最佳回應的網域中表現卓越：

當您需要平衡多個競爭目標，例如準確性、效率和風格時，RFT 的效果非常好。

何時使用推理模式進行 RFT 訓練

Amazon Nova 2.0 支援 RFT 訓練期間的推理模式。下列模式可供使用：

針對下列項目使用高推理：

對下列項目不使用 （省略 reasoning_effort) 或低推理：

支援的模型

SageMaker HyperPod 上的 RFT 支援 Amazon Nova Lite 2.0 (amazon.nova-2-lite-v1：0：256k)。

主要步驟

RFT 程序包含四個關鍵階段：

每個步驟都以上一個步驟為基礎，評估者做為透過提供一致的意見回饋訊號來引導整個訓練程序的基礎。