本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon Nova 了解模型自訂超參數
Amazon Nova Lite、Amazon Nova Micro 和 Amazon Nova Pro 模型支援以下三個用於模型自訂的超參數。如需詳細資訊,請參閱自訂模型,以改善其針對使用案例的效能。
如需微調 Amazon Nova 模型的資訊,請參閱微調 Amazon Nova 模型。
您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊,請參閱 Amazon Bedrock 定價
| 超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 5 | 2 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | float | 1.00E-6 | 1.00E-4 | 1.00E-5 |
| 學習率暖機步驟 | learningRateWarmupSteps | 學習速率逐漸增加到指定速率的迭代次數 | integer | 0 | 100 | 10 |
預設 epoch 次數為 2,此值適用於大多數情況。一般而言,較大的資料集需要較少的 epoch 才能收斂,而較小的資料集則需要較多 epoch 才能收斂。提高學習速率也可以更快地實現收斂,但這不太理想,因為其可能會導致在收斂時的訓練不穩定。我們建議您從預設超參數開始,這些超參數是以不同複雜度和資料大小的任務之間的評估為基礎。
學習速率會在暖機期間逐漸增加至設定值。因此,我們建議您在訓練範例很小時避免使用較大的暖機值,因為在訓練過程中,學習速率可能永遠不會達到設定值。我們建議設定暖機步驟,方式是將 Amazon Nova Micro 資料集大小除以 640,將 Amazon Nova Lite 的資料集大小除以 160,將 Amazon Nova Pro 的資料集大小除以 320。