選擇用於蒸餾的教師和學生模型
對於模型蒸餾，您可以選擇教師和學生模型。
-
選擇教師模型
選擇比學生模型大得多且功能更多的教師模型，且符合您要為使用案例達到的準確度。若要讓蒸餾更有效率，請選擇一個已針對與您使用案例類似的任務進行訓練的模型。
對於某些教師模型，您可以選擇跨區域推論設定檔 (透過跨區域推論增加輸送量)。跨區域推論會自動選取您地理位置內的最佳 AWS 區域，以處理您的推論請求。這可透過最大化可用資源和模型可用性來改善客戶體驗。若要使用跨區域推論設定檔，您的服務角色除了在推論設定檔中每個區域的模型之外，還必須具有在 AWS 區域 中調用推論設定檔的許可。如需政策範例，請參閱(選用) 使用跨區域推論設定檔建立蒸餾任務的許可。
-
選擇學生模型
選擇的學生模型大小應比教師模型明顯小許多。學生模型必須是與下表中教師模型配對的其中一個學生模型。
下一節列出 Amazon Bedrock 模型蒸餾功能支援的模型和區域。選擇教師和學生模型後，您可以準備和最佳化訓練資料集以進行蒸餾。如需詳細資訊，請參閱 準備訓練資料集以進行蒸餾。
Amazon Bedrock 模型蒸餾功能支援的模型和區域
下表顯示哪些模型和 AWS 區域 Amazon Bedrock 模型蒸餾功能支援教師和學生模型。如果您使用跨區域推論設定檔，則模型蒸餾僅支援系統推論設定檔。如需詳細資訊，請參閱 透過跨區域推論增加輸送量。
| 供應商 | 教師 | 教師 ID | 推論設定檔支援 | 學生 | 學生 ID | 區域 |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazon.nova-pro-v1:0 | 兩者 | Nova Lite Nova Micro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k |
美國東部 (維吉尼亞北部) |
| Nova Premier | amazon.nova-premier-v1:0 | 僅限推論設定檔 | Nova Lite Nova Micro Nova Pro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k amazon.nova-pro-v1:0:300k |
美國東部 (維吉尼亞北部) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | 兩者 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
美國西部 (奧勒岡) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | 兩者 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
美國西部 (奧勒岡) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405b-instruct-v1:0 | 隨需 | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-1-70b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-3-70b-instruct-v1:0:128k |
美國西部 (奧勒岡) |
| Llama 3.1 70B | meta.llama3-1-70b-instruct-v1:0 | 兩者 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
美國西部 (奧勒岡) | |
| Llama 3.3 70B | meta.llama3-3-70b-instruct-v1:0 | 僅限推論設定檔 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
美國西部 (奧勒岡) |
注意
