使用強化微調來微調 Amazon Nova 模型 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用強化微調來微調 Amazon Nova 模型

在微調之前,請確保您有先決條件,因為 Amazon Bedrock 需要特定許可來建立和管理微調程序。如需完整的安全性和許可資訊,請參閱 Amazon Nova 模型的存取和安全性

以 5 個步驟對 Amazon Nova 模型執行強化微調:

  1. 提供訓練資料集 – 上傳必要格式 (例如 JSONL) 的提示,做為強化微調訓練資料集。如需詳細資訊,請參閱準備 Amazon Nova 模型的資料

  2. 設定獎勵函數 (分級器) – 定義分級器,根據正確性、結構、色調或其他目標對模型回應進行評分。您可以使用 Lambda 執行獎勵函數來計算目標分數。您也可以根據您設定的條件和原則,選擇模型做為判斷 (透過主控台) 和等級回應 (主控台會自動將這些模型轉換為 Lambda 函數)。如需詳細資訊,請參閱設定 Amazon Nova 模型的獎勵函數

  3. 提交強化微調任務 – 透過指定基礎模型、資料集、獎勵函數和其他選用設定,例如超參數,來啟動強化微調任務。如需詳細資訊,請參閱建立和管理 Amazon Nova 模型的微調任務

  4. 監控訓練 – 追蹤任務狀態、獎勵指標和訓練進度,直到完成為止。如需詳細資訊,請參閱監控 RFT 訓練任務

  5. 使用微調模型 – 任務完成後,按一下即可部署產生的 RFT 模型以進行隨需推論。對於需要一致效能的任務關鍵工作負載,您也可以使用佈建輸送量。請參閱 為自訂模型設定推論。在遊樂場中使用測試來評估和比較回應與基礎模型。

重要

您可以向 Amazon Bedrock 提供最多 20K個提示,以微調模型。

支援的 Nova 模型

下表顯示您可以使用強化微調來自訂的 Amazon Nova 模型:

注意

如需其他支援模型的資訊,包括開放權重模型,請參閱 使用 OpenAI相容的 APIs 微調開放權重模型

支援強化微調的模型
供應商 模型 模型 ID 單一區域模型支援
Amazon Nova 2 Lite amazon.nova-2-lite-v1:0:256k us-east-1