分析模型自定义作业的结果 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

分析模型自定义作业的结果

在模型自定义作业完成后,您可以分析自定义过程的结果。以下构件将上传到您在创建模型自定义作业时指定的 S3 存储桶:

  • 训练和验证指标 – Amazon Bedrock 提供针对所有模型自定义作业的训练指标。一些模型自定义作业还包含验证指标。

  • 合成数据(仅限模型蒸馏)– Amazon Bedrock 从教师式模型生成的合成数据集内的示例提示,用于在蒸馏作业期间微调学生式模型。此类信息有助于您进一步了解和验证您的自定义模型的训练方式。

  • 提示见解(仅限模型蒸馏)– 关于蒸馏过程中已接受和拒绝的输入提示(以及相关原因)的报告。如果您需要运行另一个蒸馏作业,此类可帮助您修复和优化提示。

Amazon Bedrock 将您的自定义模型存储在您的AWS托管存储空间中。AWS 账户

您还可以运行模型评估作业来评估模型。有关更多信息,请参阅 评测 Amazon Bedrock 资源的性能

以下示例说明了可在 S3 存储桶中优化训练和验证指标的位置:

- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv

使用 step_wise_training_metrics.csvvalidation_metrics.csv 文件可分析模型自定义作业,并根据需要借助它们调整模型。

step_wise_training_metrics.csv 文件中的列如下所示。

  • step_number – 训练过程中的步骤。从 0 开始。

  • epoch_number – 训练过程中的 epoch。

  • training_loss – 表示模型与训练数据的拟合程度。值越低表示拟合度越高。

  • perplexity – 表示模型预测词元序列的能力。值越低表示预测能力越大。

validation_metrics.csv 文件中的列与训练文件相同,唯一的不同是,validation_loss(模型与验证数据的拟合程度)代替了training_loss

您可以通过直接打开 https://console.aws.amazon.com/s3 或在模型详细信息中找到输出文件夹的链接来查找输出文件。选择与您的首选方法对应的选项卡,然后按照以下步骤操作:

Console
  1. 使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。AWS 管理控制台然后,在 https://console.aws.amazon.com/bedrock 上打开 Amazon Bedrock 控制台。

  2. 在左侧导航窗格的调整下,选择自定义模型

  3. 模型选项卡上,选择模型以查看其详细信息。作业名称可以在模型详细信息部分中找到。

  4. 要查看输出 S3 文件,请在输出数据部分中选择 S3 位置

  5. 在名称与模型作业名称一致的文件夹中找到训练指标文件和验证指标文件。

API

要列出有关您的所有自定义模型的信息,请使用 Amazon Bedrock 控制平面终端节点发送请求 ListCustomModels(查看请求和响应格式以及字段详情链接)。ListCustomModels有关可以使用的过滤器,请参阅。

要列出自定义模型的所有标签,请使用 Amazon Bedrock 控制平面终端节点发送ListTagsForResource请求,并附上该自定义模型的亚马逊资源名称 (ARN)。

要监控模型自定义任务的状态,请使用带有 Amazon Bedrock 控制平面终端节点的请求发送 GetCustomModel(请求和响应格式以及字段详情参见链接)modelIdentifier,即以下任一方式。

  • 您为模型指定的名称。

  • 模型的 ARN。

您可以在GetModelCustomizationJobGetCustomModel响应中查看模型自定义任务的trainingMetricsvalidationMetrics

要下载训练指标文件和验证指标文件,请按照下载对象中的步骤操作。使用您在 outputDataConfig 中提供的 S3 URI。

参阅代码示例