本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
自訂模型超參數
以下參考內容涵蓋了可用於訓練每個 Amazon Bedrock 自訂模型的超參數。
超參數是控制訓練程序的參數，例如學習速率或 epoch 計數。當您使用 Amazon Bedrock 主控台提交微調任務，或透過呼叫 CreateModelCustomizationJob API 作業時，可以設定自訂模型訓練的超參數。
Amazon Nova Lite、Amazon Nova Micro 和 Amazon Nova Pro 模型支援以下三個用於模型自訂的超參數。如需詳細資訊，請參閱自訂模型，以改善其針對使用案例的效能。
如需微調 Amazon Nova 模型的資訊，請參閱微調 Amazon Nova 模型。
您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
| 超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 5 | 2 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | float | 1.00E-6 | 1.00E-4 | 1.00E-5 |
| 學習率暖機步驟 | learningRateWarmupSteps | 學習速率逐漸增加到指定速率的迭代次數 | integer | 0 | 100 | 10 |
預設 epoch 次數為 2，此值適用於大多數情況。一般而言，較大的資料集需要較少的 epoch 才能收斂，而較小的資料集則需要較多 epoch 才能收斂。提高學習速率也可以更快地實現收斂，但這不太理想，因為其可能會導致在收斂時的訓練不穩定。我們建議您從預設超參數開始，這些超參數是以不同複雜度和資料大小的任務之間的評估為基礎。
學習速率會在暖機期間逐漸增加至設定值。因此，我們建議您在訓練範例很小時避免使用較大的暖機值，因為在訓練過程中，學習速率可能永遠不會達到設定值。我們建議設定暖機步驟，方式是將 Amazon Nova Micro 資料集大小除以 640，將 Amazon Nova Lite 的資料集大小除以 160，將 Amazon Nova Pro 的資料集大小除以 320。
Amazon Nova Canvas 模型支援下列用於模型自訂的超參數。
| 超參數 (主控台) | 超參數 (API) | 定義 | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|
| 批次大小 | batchSize | 更新模型參數前處理的樣本數 | 8 | 192 | 8 |
| 步驟 | StepCount | 模型對每個批次公開的次數 | 10 | 20,000 | 500 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | 1.00E-7 | 1.00E-4 | 1.00E-5 |
Amazon Titan Text Premier 模型支援下列用於模型自訂的超參數。您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
| 超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 5 | 2 |
| 批次大小 (微型) | batchSize | 更新模型參數前處理的樣本數 | integer | 1 | 1 | 1 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | float | 1.00E-07 | 1.00E-05 | 1.00E-06 |
| 學習率暖機步驟 | learningRateWarmupSteps | 學習速率逐漸增加到指定速率的迭代次數 | integer | 0 | 20 | 5 |
Amazon Titan Text 模型 (例如 Lite 和 Express) 支援下列用於模型自訂的超參數。您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
| 超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 10 | 5 |
| 批次大小 (微型) | batchSize | 更新模型參數前處理的樣本數 | integer | 1 | 64 | 1 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | float | 0.0 | 1 | 1.00E-5 |
| 學習率暖機步驟 | learningRateWarmupSteps | 學習速率逐漸增加到指定速率的迭代次數 | integer | 0 | 250 | 5 |
Amazon Titan 圖像生成器 G1 模型支援下列用於模型自訂的超參數。
注意
stepCount 沒有預設值，且必須加以指定。stepCount 支援 auto 值。auto 會根據資料集的大小自動判斷數字，以優先考量模型效能 (而非訓練成本)。訓練任務成本取決於 auto 判斷的數字。若要了解如何計算任務成本並查看範例，請參閱 Amazon Bedrock 定價
| 超參數 (主控台) | 超參數 (API) | 定義 | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|
| 批次大小 | batchSize | 更新模型參數前處理的樣本數 | 8 | 192 | 8 |
| 步驟 | StepCount | 模型對每個批次公開的次數 | 10 | 40,000 | N/A |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | 1.00E-7 | 1 | 1.00E-5 |
Amazon Titan Multimodal Embeddings G1 模型支援下列用於模型自訂的超參數。您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
注意
epochCount 沒有預設值，且必須加以指定。epochCount 支援 Auto 值。Auto 會根據資料集的大小自動判斷數字，以優先考量模型效能 (而非訓練成本)。訓練任務成本取決於 Auto 判斷的數字。若要了解如何計算任務成本並查看範例，請參閱 Amazon Bedrock 定價
| 超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 100 | N/A |
| 批次大小 | batchSize | 更新模型參數前處理的樣本數 | integer | 256 | 9,216 | 576 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | float | 5.00E-8 | 1 | 5.00E-5 |
Anthropic Claude 3 模型支援下列用於模型自訂的超參數。您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
| 主控台名稱 | API 名稱 | 定義 | 預設 | 下限 | 上限 |
|---|---|---|---|---|---|
| Epoch 計數 | epochCount | 透過整個訓練資料集進行迭代的次數上限 | 2 | 1 | 10 |
| 批次大小 | batchSize | 更新模型參數前處理的樣本數 | 32 | 4 | 256 |
| 學習速率乘數 | learningRateMultiplier | 影響學習速率的乘數，在每個批次後會以此學習速率更新模型參數 | 1 | 0.1 | 2 |
| 提前停止閾值 | earlyStoppingThreshold | 防止訓練過程提前終止所需的驗證損失的最小改進 | 0.001 | 0 | 0.1 |
| 提早停止容忍度 | earlyStoppingPatience | 停止訓練程序之前驗證損失指標中停滯的容忍度 | 2 | 1 | 10 |
Cohere Command 和 Cohere Command Light 模型支援下列用於模型自訂的超參數。您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
如需微調 Cohere 模型的相關資訊，請參閱 Cohere 文件，網址：https://docs.cohere.com/docs/fine-tuning
注意
epochCount 配額是可調整的。
| 超參數 (主控台) | 超參數 (API) | 定義 | Type | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | integer | 1 | 100 | 1 |
| 批次大小 | batchSize | 更新模型參數前處理的樣本數 | integer | 8 | 8 (命令) 32 (淺色) |
8 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率。如果您使用驗證資料集，建議您不要為 learningRate 提供值。 |
float | 5.00E-6 | 0.1 | 1.00E-5 |
| 提前停止閾值 | earlyStoppingThreshold | 防止訓練過程提前終止所需的損失的最小改進 | float | 0 | 0.1 | 0.01 |
| 提早停止容忍度 | earlyStoppingPatience | 停止訓練程序之前損失指標中停滯的容忍度 | integer | 1 | 10 | 6 |
| 評估百分比 | evalPercentage |
如果您未提供個別的驗證資料集，則為模型評估分配的資料集百分比 |
float | 5 | 50 | 20 |
Meta Llama 3.1 8B 和 70B 模型支援下列用於模型自訂的超參數。您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
如需微調 Meta Llama 模型的詳細資訊，請參閱位於 https://ai.meta.com/llama/get-started/#fine-tuning
注意
epochCount 配額是可調整的。
| 超參數 (主控台) | 超參數 (API) | 定義 | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | 1 | 10 | 5 |
| 批次大小 | batchSize | 更新模型參數前處理的樣本數 | 1 | 1 | 1 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | 5.00E-6 | 0.1 | 1.00E-4 |
Meta Llama 3.2 1B、3B、11B 和 90B 模型支援下列用於模型自訂的超參數。您指定的 epoch 數量會透過處理更多字符來增加模型自訂成本。每個 epoch 會處理整個訓練資料集一次。如需定價的資訊，請參閱 Amazon Bedrock 定價
如需微調 Meta Llama 模型的詳細資訊，請參閱位於 https://ai.meta.com/llama/get-started/#fine-tuning
| 超參數 (主控台) | 超參數 (API) | 定義 | 下限 | 上限 | 預設 |
|---|---|---|---|---|---|
| Epoch | epochCount | 整個訓練資料集的重複次數 | 1 | 10 | 5 |
| 批次大小 | batchSize | 更新模型參數前處理的樣本數 | 1 | 1 | 1 |
| 學習率 | learningRate | 每個批次後更新模型參數的比率 | 5.00E-6 | 0.1 | 1.00E-4 |
