选择用于蒸馏的教师式模型和学生式模型 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

选择用于蒸馏的教师式模型和学生式模型

对于模型蒸馏,选择教师式模型和学生式模型。

  • 选择教师式模型

    选择在规模和能力方面显著超过学生式模型的教师式模型,并且要在使用案例中实现其准确性。要提高蒸馏效率,请选择已基于与您的使用案例相似的任务进行训练的模型。

    对于某些教师式模型,您可以选择跨区域推理配置文件(通过跨区域推理提高吞吐量)。跨区域推理会自动选择您所在地理AWS区域内的最佳区域来处理您的推理请求。这会最大限度地提高可用资源和模型的可用性,进而改善客户体验。要使用跨区域推理配置文件,除了推理配置文件中每个区域的模型外AWS 区域,您的服务角色还必须有权在中调用推理配置文件。有关策略示例,请参阅(可选)使用跨区域推理配置文件创建蒸馏作业的权限

  • 选择学生式模型

    选择规模明显小于教师式模型的学生式模型。学生式模型必须是下表中与教师式模型配对的学生式模型之一。

以下部分列出了 Amazon Bedrock 模型蒸馏功能支持的模型和区域。选择教师式模型和学生式模型后,您可以准备和优化用于蒸馏的训练数据集。有关更多信息,请参阅 准备用于蒸馏的训练数据集

Amazon Bedrock 模型蒸馏功能支持的模型和区域

下表显示了教师和学生模型支持哪些模型和 AWS 区域 Amazon Bedrock Model Destillation。如果使用跨区域推理配置文件,则仅支持使用系统推理配置文件进行模型蒸馏。有关更多信息,请参阅 通过跨区域推理提高吞吐量

Provider 教师式模型 教师 ID 推理配置文件支持 学生式模型 学生 ID Region
Amazon Nova Pro 亚马逊。 nova-pro-v1:0 二者

Nova Lite

Nova Micro

亚马逊。 nova-lite-v1:0300 k

亚马逊。 nova-micro-v1:0:128 k

美国东部(弗吉尼亚州北部)
Nova Premier 亚马逊。 nova-premier-v1:0 仅推理配置文件

Nova Lite

Nova Micro

Nova Pro

亚马逊。 nova-lite-v1:0300 k

亚马逊。 nova-micro-v1:0:128 k

亚马逊。 nova-pro-v1:0300 k

美国东部(弗吉尼亚州北部)
Anthropic Claude 3.5 v1 anthropic.claude-3-5-sonnet-20240620-v1:0 二者

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

美国西部(俄勒冈州)
Claude 3.5 v2 anthropic.claude-3-5-sonnet-20241022-v2:0 二者

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

美国西部(俄勒冈州)
Meta Llama 3.1 405B meta.llama3-1-405 1:0 b-instruct-v 按需

Llama 3.1 8B

Llama 3.1 70B

Llama 3.2 1B

Llama 3.3 70B

meta.llama3-1-8 1:0:128 k b-instruct-v

meta.llama3-1-70 1:0:128 k b-instruct-v

meta.llama3-2-1 1:0:128 k b-instruct-v

meta.llama3-3-70 1:0:128 k b-instruct-v

美国西部(俄勒冈州)
Llama 3.1 70B meta.llama3-1-70 1:0 b-instruct-v 二者

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8 1:0:128 k b-instruct-v

meta.llama3-2-1 1:0:128 k b-instruct-v

meta.llama3-2-3 1:0:128 k b-instruct-v

美国西部(俄勒冈州)
Llama 3.3 70B meta.llama3-3-70 1:0 b-instruct-v 仅推理配置文件

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8 1:0:128 k b-instruct-v

meta.llama3-2-1 1:0:128 k b-instruct-v

meta.llama3-2-3 1:0:128 k b-instruct-v

美国西部(俄勒冈州)
注意
  • 对于 Claude 和 Llama 模型,蒸馏作业在美国西部(俄勒冈州)运行。您可以购买美国西部(俄勒冈州)的预调配吞吐量,也可以复制蒸馏模型至另一个区域,然后购买预调配吞吐量

  • 对于 Nova 模型,在美国东部(弗吉尼亚州北部)运行蒸馏作业。要进行推断,您需要购买美国东部(弗吉尼亚州北部)的预调配吞吐量。您无法将 Nova 模型复制到其他区域。