Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Prérequis pour la distillation à l'aide d'un modèle
Avant de commencer, assurez-vous d’avoir bien compris les contrôles d’accès et de sécurité de la distillation de modèles. Vous devez également choisir un modèle enseignant et étudiant pour votre travail de distillation.
Permissions
Avant de commencer, assurez-vous d’avoir bien compris les contrôles d’accès et de sécurité de la distillation de modèles. Vous devez avoir un rôle de service IAM pouvant accéder au compartiment Amazon S3 où vous voulez stocker vos données d’entraînement et de validation pour la distillation de modèles. Amazon Bedrock propose également des options pour chiffrer et sécuriser davantage vos tâches de distillation et vos artefacts. Pour de plus amples informations, veuillez consulter Personnalisation, accès et sécurité des modèles.
Pour utiliser un profil d'inférence interrégional pour un modèle d'enseignant dans un poste de distillation, votre rôle de service doit être autorisé à invoquer le profil d'inférence dans un Région AWS, en plus du modèle de chaque région dans le profil d'inférence. Pour un exemple de stratégie, consultez (Facultatif) Autorisations pour créer une tâche de distillation avec un profil d’inférence interrégional. Pour plus d’informations sur l’inférence interrégionale, consultez Augmentez le débit grâce à l’inférence entre régions.
Choix des modèles enseignants et étudiants pour la distillation
| Type de modèle | Critères de sélection | Considérations clés | Exigences |
|---|---|---|---|
| Modèle d'enseignant | Choisissez un modèle enseignant bien plus grand et plus performant que le modèle étudiant et dont vous souhaitez atteindre la précision pour votre cas d’utilisation. | Pour rendre la distillation plus efficace, choisissez un modèle déjà entraîné pour des tâches similaires à votre cas d’utilisation. Pour certains modèles d'enseignants, vous pouvez choisir un profil d'inférence interrégional. | Doit disposer des autorisations nécessaires pour invoquer des profils et des modèles d'inférence dans chaque région. Consultez la documentation sur l'inférence interrégionale pour des exemples de politiques. |
| Modèle étudiant | Choisissez un modèle étudiant dont la taille est nettement plus petite que celle du modèle enseignant. | Le modèle étudiant doit être l'un des modèles étudiants associés à votre modèle enseignant dans le tableau des modèles pris en charge. | Doit être compatible avec le modèle d'enseignant sélectionné, comme indiqué dans le tableau suivant. |
La section suivante répertorie les modèles et régions pris en charge pour la distillation de modèles Amazon Bedrock. Après avoir choisi vos modèles enseignants et étudiants, vous préparez et optimisez vos jeux de données d’entraînement pour la distillation. Pour plus d’informations, consultez Préparation de vos jeux de données d’entraînement pour la distillation.
Modèles et régions pris en charge pour la distillation de modèles Amazon Bedrock
Le tableau suivant indique quels modèles et Régions AWS Amazon Bedrock Model Distillation sont compatibles avec les modèles destinés aux enseignants et aux étudiants. Si vous utilisez un profil d’inférence entre régions, seuls les profils d’inférence système sont pris en charge pour la distillation de modèles. Pour plus d’informations, consultez Augmentez le débit grâce à l’inférence entre régions.
| Fournisseur | Enseignant | ID enseignant | Support des profils d’inférence | Étudiant | ID étudiant | Région |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazon. nova-pro-v1:0 | les deux | Nova Lite Nova Micro |
amazon. nova-lite-v1:30:300 km amazon. nova-micro-v1:40:128 km |
USA Est (Virginie du Nord) |
| Nova Premier | amazon. nova-premier-v1:0 | Profil d’inférence uniquement | Nova Lite Nova Micro Nova Pro |
amazon. nova-lite-v1:30:300 km amazon. nova-micro-v1:40:128 km amazon. nova-pro-v1:30:300 km |
USA Est (Virginie du Nord) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | les deux | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
USA Ouest (Oregon) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | les deux | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
USA Ouest (Oregon) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405 1:0 b-instruct-v | À la demande | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
b-instruct-vmeta.llama3-1-8 1:10:128 k b-instruct-vmeta.llama3-1-70 1:10:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-3-70 1:10:128 k |
USA Ouest (Oregon) |
| Llama 3.1 70B | meta.llama3-1-70 1:0 b-instruct-v | les deux | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:10:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-2-3 1:0:128 k |
USA Ouest (Oregon) | |
| Llama 3.3 70B | meta.llama3-3-70 1:0 b-instruct-v | Profil d’inférence uniquement | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:10:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-2-3 1:0:128 k |
USA Ouest (Oregon) |
Note
-
Pour les modèles Claude et Llama, la tâche de distillation est effectuée dans la région USA Ouest (Oregon). Vous pouvez soit acheter du débit provisionné dans la région USA Ouest (Oregon), soit copier le modèle distillé dans une autre région, puis acheter du débit provisionné.
-
Pour les modèles Nova, vous exécutez une tâche de distillation dans la région USA Est (Virginie du Nord). Pour l’inférence, vous devez acheter du débit provisionné dans la région USA Est (Virginie du Nord). Vous ne pouvez pas copier de modèles Nova vers d’autres régions.
