本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
模型分割的先決條件
在開始之前，請確定您了解模型蒸餾的存取和安全控制。您還必須為您的 分割任務選擇教師和學生模型。
許可
在開始之前，請確定您了解模型蒸餾的存取和安全控制。您必須擁有可存取 Amazon S3 儲存貯體的 IAM 服務角色，以便存放模型蒸餾訓練和驗證資料。Amazon Bedrock 也提供加密和進一步保護您蒸餾任務和成品的選項。如需詳細資訊，請參閱模型自訂存取和安全性。
若要將跨區域推論描述檔用於 Distillation 任務中的教師模型，您的服務角色除了在推論描述檔中每個區域中的模型之外 AWS 區域，還必須具有在 中叫用推論描述檔的許可。如需政策範例，請參閱(選用) 使用跨區域推論設定檔建立蒸餾任務的許可。如需跨區域推論的詳細資訊，請參閱 透過跨區域推論增加輸送量。
選擇用於蒸餾的教師和學生模型
| 模型類型 | 選擇條件 | 重要考量事項 | 要求 |
|---|---|---|---|
| 教師模型 | 選擇比學生模型大得多且功能更多的教師模型，且符合您要為使用案例達到的準確度。 | 若要讓蒸餾更有效率，請選擇一個已針對與您使用案例類似的任務進行訓練的模型。對於某些教師模型，您可以選擇跨區域推論設定檔。 | 必須具有在每個區域中叫用推論描述檔和模型的許可。如需政策範例，請參閱跨區域推論文件。 |
| 學生模型 | 選擇的學生模型大小應比教師模型明顯小許多。 | 學生模型必須是其中一個與支援的模型表中的教師模型配對的學生模型。 | 必須與選取的教師模型相容，如下表所示。 |
下一節列出 Amazon Bedrock 模型蒸餾功能支援的模型和區域。選擇教師和學生模型後，您可以準備和最佳化訓練資料集以進行蒸餾。如需詳細資訊，請參閱準備訓練資料集以進行蒸餾。
Amazon Bedrock 模型蒸餾功能支援的模型和區域
下表顯示哪些模型和 AWS 區域 Amazon Bedrock Model Distillation 支援教師和學生模型。如果您使用跨區域推論設定檔，則模型蒸餾僅支援系統推論設定檔。如需詳細資訊，請參閱透過跨區域推論增加輸送量。
| 供應商 | 教師 | 教師 ID | 推論設定檔支援 | 學生 | 學生 ID | 區域 |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazon.nova-pro-v1:0 | 兩者 | Nova Lite Nova Micro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k |
美國東部 (維吉尼亞北部) |
| Nova Premier | amazon.nova-premier-v1:0 | 僅限推論設定檔 | Nova Lite Nova Micro Nova Pro |
amazon.nova-lite-v1:0:300k amazon.nova-micro-v1:0:128k amazon.nova-pro-v1:0:300k |
美國東部 (維吉尼亞北部) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | 兩者 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
美國西部 (奧勒岡) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | 兩者 | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
美國西部 (奧勒岡) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405b-instruct-v1:0 | 隨需 | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-1-70b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-3-70b-instruct-v1:0:128k |
美國西部 (奧勒岡) |
| Llama 3.1 70B | meta.llama3-1-70b-instruct-v1:0 | 兩者 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
美國西部 (奧勒岡) | |
| Llama 3.3 70B | meta.llama3-3-70b-instruct-v1:0 | 僅限推論設定檔 | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
meta.llama3-1-8b-instruct-v1:0:128k meta.llama3-2-1b-instruct-v1:0:128k meta.llama3-2-3b-instruct-v1:0:128k |
美國西部 (奧勒岡) |
注意
