在 Amazon Bedrock 中提交模型蒸馏作业

使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。 AWS 管理控制台 然后，在 https://console.aws.amazon.com/bedrock 上打开 Amazon Bedrock 控制台。

在左侧导航窗格的调整下，选择自定义模型。

选择创建蒸馏作业。

对于蒸馏模型详细信息，执行以下操作：

1. 在蒸馏模型名称中，输入您的蒸馏模型的名称。

2. （可选）对于模型加密，如果您要提供密钥来加密作业及其相关构件，请选中该复选框。

   有关更多信息，请参阅 自定义模型加密。

3. （可选）对蒸馏模型应用标签。

对于作业配置，执行以下操作：

1. 在作业名称中，输入蒸馏作业的名称。

2. （可选）对于模型加密，如果您要提供密钥来加密作业及其相关构件，请选中该复选框。

   有关更多信息，请参阅 自定义模型加密。

3. （可选）为作业应用标签。

对于教师式模型 – 学生式模型详细信息，请选择用于创建蒸馏模型的教师式模型和学生式模型。

有关更多信息，请参阅 模型蒸馏的先决条件。

要合成数据生成，请执行以下操作：

1. 在 最大响应长度中，指定教师式模型生成的合成响应的最大长度。

2. 在蒸馏输入数据集内，选择以下选项之一：

   • 直接上传到 S3 位置：指定存储用于蒸馏的输入数据集（提示）的 S3 位置。有关更多信息，请参阅 选项 1：为数据准备提供您自己的提示。

   • 提供对调用日志的访问权限：指定 S3 位置，该位置存储调用日志以及用于蒸馏的输入数据集（提示）。有关更多信息，请参阅 选项 2：使用调用日志进行数据准备。

     • （可选）如果您希望 Amazon Bedrock 仅使用日志中的某些提示进行蒸馏，请在请求元数据筛选条件中指定筛选条件。

     • 根据您希望 Amazon Bedrock 从日志中访问的内容，选择阅读提示或读取提示-回复对。请记住，只有当您的教师式模型与日志中的模型匹配时，才会读取回复。

对于蒸馏输出，请指定用于上传蒸馏作业的指标和报告的 S3 位置。

有关更多信息，请参阅 分析模型自定义作业的结果。

对于 VPC 设置，请选择 VPC 配置，用于访问包含训练数据的 S3 存储桶。

有关更多信息，请参阅 （可选）使用 VPC 保护模型自定义作业。

对于服务访问权限，请指定 IAM 角色，用于访问包含训练数据的 S3 存储桶。除非您使用跨区域推理配置文件或 VPC 配置，否则您可以使用自动配置的正确权限在 Amazon Bedrock 控制台中创建角色。也可以使用现有的服务角色。

对于具有 Amazon VPC 配置或使用跨区域推理配置文件的作业，您必须在 IAM 中创建具有所需权限的新服务角色。

有关更多信息，请参阅 为模型自定义创建 IAM 服务角色。

选择创建蒸馏作业以启动蒸馏作业。自定义模型后，您可以为模型设置推理。有关更多信息，请参阅 为自定义模型设置推理。