Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Soumettre un modèle de tâche de distillation dans Amazon Bedrock
Vous pouvez effectuer la distillation du modèle via la console Amazon Bedrock ou en envoyant une CreateModelCustomizationJobdemande avec un point de terminaison du plan de contrôle Amazon Bedrock.
Prérequis
Lorsque votre tâche de distillation est terminée, vous pouvez analyser les résultats du processus de personnalisation. Pour de plus amples informations, veuillez consulter Analyser les résultats d'une tâche de personnalisation d'un modèle. Pour plus d'informations sur la configuration de l'inférence pour votre modèle, consultezConfigurer l'inférence pour un modèle personnalisé.
Soumettez votre offre d'emploi
- Console
-
-
Connectez-vous au AWS Management Console avec une identité IAM autorisée à utiliser la console Amazon Bedrock. Ouvrez ensuite la console Amazon Bedrock à https://console.aws.amazon.com/bedrock/l'adresse.
-
Dans le volet de navigation de gauche, choisissez Modèles personnalisés sous Modèles de base.
Choisissez Créer une tâche de distillation.
-
Pour obtenir des informations détaillées sur le modèle Distilled, procédez comme suit :
-
Dans Nom du modèle distillé, entrez le nom de votre modèle distillé.
-
(Facultatif) Pour le chiffrement du modèle, cochez la case si vous souhaitez fournir une clé KMS pour chiffrer votre tâche et les artefacts associés.
Pour de plus amples informations, veuillez consulter Chiffrement de modèles personnalisés.
-
(Facultatif) Appliquez des étiquettes à votre modèle distillé.
-
Pour la configuration du Job, procédez comme suit :
-
Dans Nom de la tâche, entrez le nom de votre tâche de distillation.
-
(Facultatif) Pour le chiffrement du modèle, cochez la case si vous souhaitez fournir une clé KMS pour chiffrer votre tâche et les artefacts associés.
Pour de plus amples informations, veuillez consulter Chiffrement de modèles personnalisés.
-
(Facultatif) Appliquez des balises à votre tâche.
-
Pour Modèle enseignant — Détails du modèle étudiant, choisissez les modèles enseignant et étudiant pour créer votre modèle distillé.
Pour de plus amples informations, veuillez consulter Choisissez des modèles pour les enseignants et les élèves pour la distillation.
-
Pour la génération de données synthétiques, procédez comme suit :
-
Pour Longueur de réponse maximale, spécifiez la longueur maximale des réponses synthétiques générées par le modèle enseignant.
-
Pour le jeu de données d'entrée Distillation, choisissez l'une des options suivantes :
-
Téléchargement direct vers l'emplacement S3 : spécifiez l'emplacement S3 où vous stockez le jeu de données d'entrée (invites) qui sera utilisé pour la distillation. Pour de plus amples informations, veuillez consulter Option 1 : fournir vos propres instructions pour la préparation des données.
-
Fournir un accès aux journaux d'invocation : spécifiez l'emplacement S3 où vous stockez les journaux d'invocation avec le jeu de données d'entrée (invites) qui sera utilisé pour la distillation. Pour de plus amples informations, veuillez consulter Option 2 : utiliser les journaux d'invocation pour la préparation des données.
-
(Facultatif) Pour les filtres de métadonnées de demande, spécifiez des filtres si vous souhaitez qu'Amazon Bedrock n'utilise que certaines instructions dans vos journaux pour la distillation.
-
Choisissez Lire les invites ou Lire les paires invite-réponse en fonction de ce à quoi vous souhaitez qu'Amazon Bedrock accède à partir de vos journaux. N'oubliez pas que les réponses ne sont lues que si le modèle de votre professeur correspond au modèle indiqué dans vos journaux.
-
Pour le résultat de distillation, spécifiez l'emplacement S3 où vous souhaitez télécharger les métriques et les rapports relatifs à votre tâche de distillation.
Pour de plus amples informations, veuillez consulter Analyser les résultats d'une tâche de personnalisation d'un modèle.
-
Pour les paramètres VPC, choisissez une configuration VPC pour accéder au compartiment S3 contenant vos données d'entraînement.
Pour de plus amples informations, veuillez consulter (Facultatif) Protégez vos tâches de personnalisation de modèles à l'aide d'un VPC.
-
Pour l'accès au service, spécifiez le rôle IAM pour accéder au compartiment S3 avec vos données d'entraînement. À moins que vous n'utilisiez un profil d'inférence inter-régions ou des configurations VPC, vous pouvez créer le rôle dans la console Amazon Bedrock avec les autorisations appropriées automatiquement configurées. Vous pouvez également utiliser un rôle de service existant.
Pour une tâche comportant des configurations Amazon VPC ou utilisant un profil d'inférence interrégional, vous devez créer un nouveau rôle de service dans IAM doté des autorisations requises.
Pour de plus amples informations, veuillez consulter Création d'un rôle de service IAM pour la personnalisation du modèle.
-
Choisissez Créer une tâche de distillation pour démarrer la tâche de distillation. Après avoir personnalisé un modèle, vous pouvez configurer l'inférence pour le modèle. Pour de plus amples informations, veuillez consulter Configurer l'inférence pour un modèle personnalisé.
- API
-
Vous devez au minimum fournir les champs suivants pour soumettre votre modèle de tâche de distillation lorsque vous utilisez l'API Amazon Bedrock.
Champ |
Description |
baseModelIdentifier |
L'identifiant du modèle étudiant |
customModelName |
Le nom du nouveau modèle distillé |
jobName |
Nom de la tâche de distillation modèle |
roleArn |
Rôle autorisant Amazon Bedrock à lire les fichiers de formation et de validation et à écrire dans le chemin de sortie |
trainingDataConfig |
Le chemin Amazon S3 contenant vos données d'entraînement |
outputDataConfig |
Le chemin Amazon S3 qui contient vos métriques de formation et de validation |
Configuration de distillation |
Entrées requises pour le travail de distillation |
customModelKmsKeyId |
Pour chiffrer le modèle personnalisé |
clientRequestToken |
Jeton pour empêcher que la demande ne soit traitée plusieurs fois |
Les champs suivants sont facultatifs :
Champ |
Description |
Type de personnalisation |
Paramétré sur DISTILLATION par défaut pour les tâches de distillation |
validationDataConfig |
Liste des données de validation (chemins Amazon S3) |
Étiquettes d'emploi |
Pour associer des balises à la tâche |
customModelTags |
Pour associer des balises au modèle personnalisé obtenu |
vpcConfig |
VPC pour protéger vos données d'entraînement et votre travail de distillation |
Pour éviter que la demande ne soit traitée plusieurs fois, incluez unclientRequestToken
.
Vous pouvez inclure les champs facultatifs suivants pour des configurations supplémentaires.
Voici un exemple d'extrait de code de CreateModelCustomizationJobl'API. Cet exemple utilise les paires prompt-réponse du journal des appels comme source de données d'entrée et indique le filtre permettant de sélectionner les paires prompt-réponse.
"trainingDataConfig": {
"invocationLogsConfig": {
"usePromptResponse": true,
"invocationLogSource": {
"s3Uri": "string"
},
"requestMetadataFilters": {
"equals": {
"priority": "High"
}
}
}
}
Réponse
La réponse renvoie un jobArn
de la tâche de distillation du modèle.
Étapes suivantes