Amazon Nova 理解模型自定义超参数
Amazon Nova Lite、Amazon Nova Micro 和 Amazon Nova Pro 模型支持以下三个用于自定义模型的超参数。有关更多信息，请参阅 针对使用案例自定义模型以提高其性能。
有关微调 Amazon Nova 模型的信息，请参阅微调 Amazon Nova 模型。
您指定的 epoch 数会处理更多词元，因而会增加模型的自定义成本。每个 epoch 对整个训练数据集进行一次处理。有关定价的信息，请参阅 Amazon Bedrock 定价
| 超参数（控制台） | 超参数（API） | 定义 | 类型 | 最小值 | 最大值 | 默认值 |
|---|---|---|---|---|---|---|
| Epoch | epochCount | 整个训练数据集的迭代次数 | 整数 | 1 | 5 | 2 |
| 学习率 | learningRate | 每个批次之后模型参数的更新速率 | 浮点数 | 1.00E-6 | 1.00E-4 | 1.00E-5 |
| 学习率预热步骤 | learningRateWarmupSteps | 学习率逐渐提高到指定速率的迭代次数 | 整数 | 0 | 100 | 10 |
默认的 epoch 数为 2，适用于大多数情况。通常，较大的数据集需要较少的 epoch 就能收敛，而较小的数据集则需要较多的 epoch 才能收敛。您也可以通过提高学习率来实现更快的收敛，但这种方法不太令人满意，因为可能会导致收敛时的训练不稳定。建议从默认超参数开始，这些超参数基于我们对各种复杂程度和数据大小的任务的评估。
在预热阶段，学习率将逐渐提高到设定值。因此，在训练样本较小时，建议您避免使用过大的预热值，因为在训练过程中，学习率可能永远无法达到设定值。建议将数据集大小分别除以 640（对于 Amazon Nova Micro）、160（对于 Amazon Nova Lite）和 320（对于 Amazon Nova Pro），以此来设置预热步骤数。
