監督式微調 (SFT) - Amazon Nova

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監督式微調 (SFT)

SFT 訓練程序包含兩個主要階段:

  • 資料準備:遵循已建立的指導方針,將資料集建立、清除或重新格式化為所需的結構。確定輸入、輸出和輔助資訊 (例如推理追蹤或中繼資料) 已正確對齊並格式化。

  • 訓練組態:定義模型的訓練方式。使用 時,此組態會寫入 YAML 配方檔案中,其中包含:

    • 資料來源路徑 (訓練和驗證資料集)

    • 金鑰超參數 (epoch、學習率、批次大小)

    • 選用元件 (分散式訓練參數等)

Nova 模型比較和選擇

Amazon Nova 2.0 是在比 Amazon Nova 1.0 更大且更多樣化的資料集上訓練的模型。主要改進包括:

  • 支援明確推理模式的增強推理功能

  • 跨其他語言的更廣泛多語言效能

  • 改善複雜任務的效能,包括編碼和工具使用

  • 在較長的內容長度下,以更高的準確性和穩定性進行延伸的內容處理

何時使用 Nova 1.0 與 Nova 2.0

在下列情況下選擇 Amazon Nova 1.0:

  • 使用案例需要標準語言理解,無需進階推理

  • 已在 Amazon Nova 1.0 上驗證效能,不需要其他功能