调整文本分类 – TensorFlow 模型 - Amazon SageMaker AI

调整文本分类 – TensorFlow 模型

自动模型优化(也称作超参数优化)通过运行很多在数据集上测试一系列超参数的作业来查找模型的最佳版本。您可以选择可优化超参数、每个超参数的值范围和一个目标指标。您可以从算法计算的指标中选择目标指标。自动模型优化将搜索所选超参数以找到导致优化目标指标的模型的值组合。

有关模型优化的更多信息,请参阅使用 SageMaker AI 自动调整模型

由文本分类 – TensorFlow 算法计算的指标

请参阅下表,了解文本分类 – TensorFlow 算法计算了哪些指标。

指标名称 描述 优化方向 正则表达式模式
validation:accuracy

正确预测数量与预测总数之比。

最大化

val_accuracy=([0-9\\.]+)

可调整文本分类 – TensorFlow 超参数

使用以下超参数优化文本分类模型。对文本分类目标指标影响最大的超参数包括:batch_sizelearning_rateoptimizer。根据选定 optimizer 优化与优化程序相关的超参数,例如 momentumregularizers_l2beta_1beta_2eps。例如,仅当 adamwadamoptimizer 时,使用 beta_1beta_2

有关各个 optimizer 中使用哪些超参数的更多信息,请参阅Text Classification – TensorFlow 文本分类

参数名称 参数类型 建议的范围
batch_size

IntegerParameterRanges

最小值:4,最大值:128

beta_1

ContinuousParameterRanges

最小值:1e-6,最大值:0.999

beta_2

ContinuousParameterRanges

最小值:1e-6,最大值:0.999

eps

ContinuousParameterRanges

最小值:1e-8,最大值:1.0

learning_rate

ContinuousParameterRanges

最小值:1e-6,最大值:0.5

momentum

ContinuousParameterRanges

最小值:0.0,最大值:0.999

optimizer

CategoricalParameterRanges

[adamw、adam、sgd、rmsprop、nesterov、adagrad、adadelta]

regularizers_l2

ContinuousParameterRanges

最小值:0.0,最大值:0.999

train_only_on_top_layer

CategoricalParameterRanges

[True、False]