本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
选择用于蒸馏的教师式模型和学生式模型
对于模型蒸馏,选择教师式模型和学生式模型。
-
选择教师式模型
选择在规模和能力方面显著超过学生式模型的教师式模型,并且要在使用案例中实现其准确性。要提高蒸馏效率,请选择已基于与您的使用案例相似的任务进行训练的模型。
对于某些教师式模型,您可以选择跨区域推理配置文件(通过跨区域推理提高吞吐量)。跨区域推理会自动选择您所在地理AWS区域内的最佳区域来处理您的推理请求。这会最大限度地提高可用资源和模型的可用性,进而改善客户体验。要使用跨区域推理配置文件,除了推理配置文件中每个区域的模型外AWS 区域,您的服务角色还必须有权在中调用推理配置文件。有关策略示例,请参阅(可选)使用跨区域推理配置文件创建蒸馏作业的权限。
-
选择学生式模型
选择规模明显小于教师式模型的学生式模型。学生式模型必须是下表中与教师式模型配对的学生式模型之一。
以下部分列出了 Amazon Bedrock 模型蒸馏功能支持的模型和区域。选择教师式模型和学生式模型后,您可以准备和优化用于蒸馏的训练数据集。有关更多信息,请参阅 准备用于蒸馏的训练数据集。
Amazon Bedrock 模型蒸馏功能支持的模型和区域
下表显示了教师和学生模型支持哪些模型和 AWS 区域 Amazon Bedrock Model Destillation。如果使用跨区域推理配置文件,则仅支持使用系统推理配置文件进行模型蒸馏。有关更多信息,请参阅 通过跨区域推理提高吞吐量。
| Provider | 教师式模型 | 教师 ID | 推理配置文件支持 | 学生式模型 | 学生 ID | Region |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | 亚马逊。 nova-pro-v1:0 | 二者 | Nova Lite Nova Micro |
亚马逊。 nova-lite-v1:0300 k 亚马逊。 nova-micro-v1:0:128 k |
美国东部(弗吉尼亚州北部) |
| Nova Premier | 亚马逊。 nova-premier-v1:0 | 仅推理配置文件 | Nova Lite Nova Micro Nova Pro |
亚马逊。 nova-lite-v1:0300 k 亚马逊。 nova-micro-v1:0:128 k 亚马逊。 nova-pro-v1:0300 k |
美国东部(弗吉尼亚州北部) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | 二者 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
美国西部(俄勒冈州) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | 二者 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
美国西部(俄勒冈州) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405 1:0 b-instruct-v | 按需 | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
meta.llama3-1-8 1:0:128 k b-instruct-v meta.llama3-1-70 1:0:128 k b-instruct-v meta.llama3-2-1 1:0:128 k b-instruct-v meta.llama3-3-70 1:0:128 k b-instruct-v |
美国西部(俄勒冈州) |
| Llama 3.1 70B | meta.llama3-1-70 1:0 b-instruct-v | 二者 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8 1:0:128 k b-instruct-v meta.llama3-2-1 1:0:128 k b-instruct-v meta.llama3-2-3 1:0:128 k b-instruct-v |
美国西部(俄勒冈州) | |
| Llama 3.3 70B | meta.llama3-3-70 1:0 b-instruct-v | 仅推理配置文件 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8 1:0:128 k b-instruct-v meta.llama3-2-1 1:0:128 k b-instruct-v meta.llama3-2-3 1:0:128 k b-instruct-v |
美国西部(俄勒冈州) |