監督式微調 (SFT) - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監督式微調 (SFT)

SFT 訓練程序包含兩個主要階段:

  • 資料準備:遵循已建立的指導方針,將資料集建立、清除或重新格式化為所需的結構。確保輸入、輸出和輔助資訊 (例如推理追蹤或中繼資料) 正確對齊並格式化。

  • 訓練組態:定義模型的訓練方式。使用 SageMaker HyperPod 時,此組態會寫入 YAML 配方檔案中,其中包含:

    • 資料來源路徑 (訓練和驗證資料集)

    • 金鑰超參數 (epoch、學習率、批次大小)

    • 選用元件 (分散式訓練參數等)

Nova 模型比較和選擇

Amazon Nova 2.0 是在比 Amazon Nova 1.0 更大且更多樣化的資料集上訓練的模型。主要改進包括:

  • 增強推理功能,支援明確推理模式

  • 跨其他語言的更廣泛多語言效能

  • 改善複雜任務的效能,包括編碼和工具使用

  • 以更長的內容長度提供更高的準確性和穩定性的延伸內容處理

何時使用 Nova 1.0 與 Nova 2.0

在下列情況下選擇 Amazon Nova 2.0:

  • 需要具有進階推理功能的卓越效能

  • 需要多語言支援或複雜的任務處理

  • 編碼、工具呼叫或分析任務需要更好的結果

在下列情況下選擇 Amazon Nova 1.0:

  • 使用案例需要標準語言理解,無需進階推理

  • 已在 Amazon Nova 1.0 上驗證效能,不需要其他功能