Cohere Command 模型自定义超参数 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Cohere Command 模型自定义超参数

Cohere Command 和 Cohere Command Light 模型支持以下用于自定义模型的超参数。您指定的周期数会通过处理更多令牌来增加模型定制成本。每个 epoch 对整个训练数据集进行一次处理。有关定价的信息,请参阅 Amazon Bedrock 定价。有关更多信息,请参阅 针对使用案例自定义模型以提高其性能

有关微调Cohere模型的信息,请参阅https://docs.cohere.com/docs/微调中的Cohere文档。

注意

epochCount 配额可调整。

超参数(控制台) 超参数(API) 定义 类型 最小值 最大值 默认
Epoch epochCount 整个训练数据集的迭代次数 整数 1 100 1
批次大小 batchSize 更新模型参数之前处理的样本数 整数 8 8(Command)

32(Light)

8
学习率 learningRate 每个批次之后模型参数的更新速率。如果使用的是验证数据集,我们建议您不要为 learningRate 提供值。 浮点数 5.00E-6 0.1 1.00E-5
提前停止阈值 earlyStoppingThreshold 防止训练过程过早终止所需的最低损失改善 浮点数 0 0.1 0.01
提前停止容忍度 earlyStoppingPatience 停止训练过程之前对损失指标停滞的容忍程度 整数 1 10 6
评估百分比 evalPercentage

在未提供单独验证数据集的情况下,为模型评测分配的数据集百分比

浮点数 5 50 20