本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
分析模型自定义作业的结果
在模型自定义作业完成后,您可以分析自定义过程的结果。以下构件将上传到您在创建模型自定义作业时指定的 S3 存储桶:
-
训练和验证指标 – Amazon Bedrock 提供针对所有模型自定义作业的训练指标。一些模型自定义作业还包含验证指标。
-
合成数据(仅限模型蒸馏)– Amazon Bedrock 从教师式模型生成的合成数据集内的示例提示,用于在蒸馏作业期间微调学生式模型。此类信息有助于您进一步了解和验证您的自定义模型的训练方式。
-
提示见解(仅限模型蒸馏)– 关于蒸馏过程中已接受和拒绝的输入提示(以及相关原因)的报告。如果您需要运行另一个蒸馏作业,此类可帮助您修复和优化提示。
Amazon Bedrock 将您的自定义模型存储在您的AWS托管存储空间中。AWS 账户
您还可以运行模型评估作业来评估模型。有关更多信息,请参阅 评测 Amazon Bedrock 资源的性能。
以下示例说明了可在 S3 存储桶中优化训练和验证指标的位置:
- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv
使用 step_wise_training_metrics.csv 和 validation_metrics.csv 文件可分析模型自定义作业,并根据需要借助它们调整模型。
step_wise_training_metrics.csv 文件中的列如下所示。
-
step_number– 训练过程中的步骤。从 0 开始。 -
epoch_number– 训练过程中的 epoch。 -
training_loss– 表示模型与训练数据的拟合程度。值越低表示拟合度越高。 -
perplexity– 表示模型预测词元序列的能力。值越低表示预测能力越大。
validation_metrics.csv 文件中的列与训练文件相同,唯一的不同是,validation_loss(模型与验证数据的拟合程度)代替了training_loss。
您可以通过直接打开 https://console.aws.amazon.com/s3