Amazon Nova 了解模型自訂超參數 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon Nova 了解模型自訂超參數

Amazon Nova Lite、Amazon Nova Micro 和 Amazon Nova Pro 模型支援以下三個用於模型自訂的超參數。如需詳細資訊,請參閱自訂模型,以改善其針對使用案例的效能

如需微調 Amazon Nova 模型的資訊,請參閱微調 Amazon Nova 模型

您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊,請參閱 Amazon Bedrock 定價

超參數 (主控台) 超參數 (API) 定義 Type 下限 上限 預設
Epoch epochCount 整個訓練資料集的重複次數 integer 1 5 2
學習率 learningRate 每個批次後更新模型參數的比率 float 1.00E-6 1.00E-4 1.00E-5
學習率暖機步驟 learningRateWarmupSteps 學習速率逐漸增加到指定速率的迭代次數 integer 0 100 10

預設 epoch 次數為 2,此值適用於大多數情況。一般而言,較大的資料集需要較少的 epoch 才能收斂,而較小的資料集則需要較多 epoch 才能收斂。提高學習速率也可以更快地實現收斂,但這不太理想,因為其可能會導致在收斂時的訓練不穩定。我們建議您從預設超參數開始,這些超參數是以不同複雜度和資料大小的任務之間的評估為基礎。

學習速率會在暖機期間逐漸增加至設定值。因此,我們建議您在訓練範例很小時避免使用較大的暖機值,因為在訓練過程中,學習速率可能永遠不會達到設定值。我們建議設定暖機步驟,方式是將 Amazon Nova Micro 資料集大小除以 640,將 Amazon Nova Lite 的資料集大小除以 160,將 Amazon Nova Pro 的資料集大小除以 320。