Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Personnalisation d’un modèle grâce à la distillation dans Amazon Bedrock
La distillation de modèles est le processus consistant à transférer les connaissances d’un modèle plus vaste et plus intelligent (appelé enseignant) vers un modèle plus petit, plus rapide et rentable (appelé étudiant). Au cours de ce processus, les performances du modèle étudiant s’améliorent pour un cas d’utilisation spécifique. La distillation de modèles Amazon Bedrock automatise le processus de distillation en utilisant les dernières techniques de synthèse de données pour générer des réponses diverses et de haute qualité à partir du modèle enseignant, et optimise le modèle étudiant.
Comment utiliser Amazon Bedrock Model Distillation
Pour utiliser la distillation de modèles Amazon Bedrock, procédez comme suit :
-
Choisissez un modèle d'enseignant et un modèle d'étudiant — Pour plus d'informations, voirPrérequis pour la distillation à l'aide d'un modèle.
-
Préparez vos données d'entraînement pour la distillation — Vos données d'entraînement sont un ensemble d'instructions stockées dans des
.jsonlfichiers. Amazon Bedrock utilise les données d’entrée pour générer des réponses à partir du modèle enseignant, puis utilise les réponses pour optimiser le modèle étudiant.-
Optimisation des invites : formatez vos invites de saisie en fonction du cas d'utilisation que vous souhaitez. Pour de plus amples informations, veuillez consulter Optimisez vos invites d’entrée pour la génération de données synthétiques.
-
Utiliser des exemples étiquetés : préparez les données d'entrée étiquetées sous forme de paires prompte-réponse. Amazon Bedrock peut utiliser ces paires comme exemples exemplaires pour générer des réponses à partir du modèle enseignant. Pour de plus amples informations, veuillez consulter Option 1 : fournir vos propres invites pour la préparation des données.
-
Utiliser les journaux d'invocation : si vous activez la journalisation CloudWatch des appels dans Logs, vous pouvez utiliser les réponses existantes des enseignants issues des journaux d'invocation stockés dans Amazon S3 comme données de formation. Un journal d’invocation dans Amazon Bedrock est un enregistrement détaillé des invocations de modèles. Pour de plus amples informations, veuillez consulter Option 2 : utilisation des journaux d’invocation pour la préparation des données.
-
-
Création d'une tâche de distillation : cette tâche permet de créer un modèle plus petit, plus rapide et plus rentable adapté à votre cas d'utilisation. Vous êtes le seul à pouvoir accéder au modèle distillé final. Amazon Bedrock n’utilise pas vos données pour former un autre modèle enseignant ou étudiant destiné à un usage public. Pour de plus amples informations, veuillez consulter Envoi d’un modèle de tâche de distillation de modèles dans Amazon Bedrock. Pour plus d'informations sur la configuration de l'inférence à la demande, consultezConfiguration de l’inférence pour un modèle personnalisé.
Fonctionnement de la distillation de modèles Amazon Bedrock
La distillation de modèles Amazon Bedrock est un flux de travail unique qui automatise le processus de création d’un modèle distillé. Dans ce flux de travail, Amazon Bedrock génère des réponses à partir d’un modèle enseignant, ajoute des techniques de synthèse de données pour améliorer la génération de réponses, puis optimise le modèle étudiant en fonction des réponses générées. Le jeu de données augmenté est divisé en jeux de données distincts à utiliser pour l’entraînement et la validation. Amazon Bedrock utilise uniquement les données du jeu de données d’entraînement pour optimiser le modèle étudiant.
Après avoir identifié vos modèles enseignant et étudiant, vous pouvez choisir la manière dont vous souhaitez qu’Amazon Bedrock crée un modèle distillé adapté à votre cas d’utilisation. Amazon Bedrock peut soit générer des réponses enseignants à l’aide des invites que vous fournissez, soit utiliser les réponses de vos données de production via des journaux d’invocation. La distillation de modèles Amazon Bedrock utilise ces réponses pour optimiser le modèle étudiant.
Note
Si Amazon Bedrock Model Distillation utilise ses techniques de synthèse de données exclusives pour générer des réponses de meilleure qualité pour les enseignants, des frais supplémentaires vous Compte AWS seront facturés pour les appels d'inférence adressés au modèle enseignant. Ces frais seront facturés aux tarifs d’inférence sur demande du modèle enseignant. Les techniques de synthèse de données peuvent augmenter la taille du jeu de données de peaufinage jusqu’à un maximum de 15 000 paires invite-réponse. Pour plus d’informations sur la tarification d’Amazon Bedrock, consultez Tarification d’Amazon Bedrock
Amazon Bedrock utilise les invites d’entrée que vous fournissez pour générer des réponses à partir du modèle enseignant. Amazon Bedrock utilise ensuite les réponses pour optimiser le modèle étudiant que vous avez identifié. Selon votre cas d’utilisation, Amazon Bedrock peut ajouter des techniques de synthèse de données exclusives pour générer des réponses diverses et de meilleure qualité. Par exemple, Amazon Bedrock peut générer des invites similaires pour générer des réponses plus diverses à partir du modèle enseignant. Ou, si vous fournissez éventuellement une poignée de données d’entrée étiquetées sous forme de paires invite-réponse, Amazon Bedrock peut utiliser ces paires comme exemples exemplaires pour demander à l’enseignant de générer des réponses similaires de haute qualité.
Si vous avez déjà des réponses générées par le modèle enseignant et stockées dans les journaux d’invocation, vous pouvez utiliser ces réponses existantes pour optimiser le modèle étudiant. Pour cela, vous devez fournir à Amazon Bedrock l’accès à vos journaux d’invocation. Un journal d’invocation dans Amazon Bedrock est un enregistrement détaillé des invocations de modèles. Pour plus d'informations, voir Surveiller l'invocation du modèle à l'aide CloudWatch des journaux.
Si vous choisissez cette option, vous pouvez continuer à utiliser les opérations de l'API d'inférence Amazon Bedrock, telles que InvokeModell'API Converse, et à collecter les journaux d'invocation, les données d'entrée du modèle (invites) et les données de sortie du modèle (réponses) pour toutes les invocations utilisées dans Amazon Bedrock.
Lorsque vous générez des réponses à partir du modèle à l’aide des opérations d’API InvokeModel ou Converse, vous pouvez éventuellement ajouter requestMetadata aux réponses. Lorsque vous créez une tâche de distillation, vous pouvez filtrer en fonction de ces métadonnées dans le cadre de la configuration des journaux d’invocation. Vous pouvez filtrer en fonction de vos cas d’utilisation spécifiques, puis Amazon Bedrock utilise uniquement les réponses filtrées pour optimiser votre modèle étudiant. Lorsque vous choisissez d’utiliser les journaux d’invocation pour optimiser votre modèle étudiant, vous pouvez demander à Amazon Bedrock d’utiliser uniquement les invites ou d’utiliser des paires invite-réponse.
