本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Nova了解模型自定义超参数
Amazon Nova LiteAmazon Nova Micro、和Amazon Nova Pro模型支持以下三个用于模型自定义的超参数。有关更多信息,请参阅 针对使用案例自定义模型以提高其性能。
有关微调 Amazon Nova 机型的信息,请参阅微调Amazon Nova模型。
您指定的周期数会通过处理更多令牌来增加模型定制成本。每个周期对整个训练数据集进行一次处理。有关定价的信息,请参阅 Amazon Bedrock 定价
超参数(控制台) | 超参数(API) | 定义 | 类型 | 最小值 | 最大值 | 默认 |
---|---|---|---|---|---|---|
Epoch | epochCount | 整个训练数据集的迭代次数 | 整数 | 1 | 5 | 2 |
学习率 | learningRate | 每个批次之后模型参数的更新速率 | 浮点数 | 1.00E-6 | 1.00E-4 | 1.00E-5 |
学习率预热步数 | learningRateWarmup步骤 | 学习率逐渐提高到指定速率的迭代次数 | 整数 | 0 | 100 | 10 |
默认纪元数为 2,适用于大多数情况。通常,较大的数据集需要较少的时代才能收集,而较小的数据集需要更多的时代才能收集。也可以通过提高学习率来实现更快的收敛性,但这并不理想,因为它可能会导致收敛时的训练不稳定。我们建议从默认的超参数开始,这些超参数基于我们对不同复杂度和数据大小的任务的评估。
在热身期间,学习率将逐渐提高到设定值。因此,我们建议您在训练样本较小时避免使用较大的预热值,因为在训练过程中,学习率可能永远无法达到设定值。我们建议通过将数据集大小除以 640 for Amazon Nova Micro、160 for 和 320 for 来设置预热步骤。Amazon Nova Lite Amazon Nova Pro