Envoi d’un modèle de tâche de distillation de modèles dans Amazon Bedrock - Amazon Bedrock
Conditions préalablesEnvoi de votre tâcheÉtapes suivantes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Envoi d’un modèle de tâche de distillation de modèles dans Amazon Bedrock

Vous pouvez effectuer la distillation du modèle via la console Amazon Bedrock ou en envoyant une CreateModelCustomizationJobdemande avec un point de terminaison du plan de contrôle Amazon Bedrock.

Conditions préalables

Pour plus d'informations sur la configuration de l'inférence à la demande, consultezConfiguration de l’inférence pour un modèle personnalisé.

Envoi de votre tâche

Console

  1. Connectez-vous au AWS Management Console avec une identité IAM autorisée à utiliser la console Amazon Bedrock. Ouvrez ensuite la console Amazon Bedrock à l'adresse https://console.aws.amazon.com/bedrock.

  2. Dans le volet de navigation de gauche, choisissez Modèles personnalisés sous Régler.

  3. Choisissez Créer une tâche de distillation.

  4. Pour Détails du modèle distillé, effectuez les opérations suivantes :

    1. Pour Nom du modèle distillé, saisissez le nom de votre modèle distillé.

    2. (Facultatif) Pour Chiffrement du modèle, cochez la case si vous souhaitez fournir une clé KMS afin de chiffrer votre tâche et les artefacts associés.

      Pour de plus amples informations, veuillez consulter Chiffrement de modèles personnalisés.

    3. (Facultatif) Appliquez des balises à votre modèle distillé.

  5. Sous Configuration de la tâche, procédez comme suit :

    1. Pour Nom de la tâche, saisissez un nom pour votre tâche de distillation.

    2. (Facultatif) Pour Chiffrement du modèle, cochez la case si vous souhaitez fournir une clé KMS afin de chiffrer votre tâche et les artefacts associés.

      Pour de plus amples informations, veuillez consulter Chiffrement de modèles personnalisés.

    3. (Facultatif) Appliquez des balises à votre tâche.

  6. Pour Détails modèle enseignant – modèle étudiant, choisissez les modèles enseignant et étudiant pour créer votre modèle distillé.

    Pour de plus amples informations, veuillez consulter Prérequis pour la distillation à l'aide d'un modèle.

  7. Pour Génération de données synthétiques, procédez comme suit :

    1. Pour Longueur de réponse maximale, spécifiez la longueur maximale des réponses synthétiques générées par le modèle enseignant.

    2. Pour Jeu de données d’entrée de distillation, choisissez l’une des options suivantes :

      • Chargement direct vers l’emplacement S3 : spécifiez l’emplacement S3 où vous stockez le jeu de données d’entrée (invites) qui sera utilisé pour la distillation. Pour de plus amples informations, veuillez consulter Option 1 : fournir vos propres invites pour la préparation des données.

      • Fournir un accès aux journaux d’invocation : spécifiez l’emplacement S3 où vous stockez les journaux d’invocation avec le jeu de données d’entrée (invites) qui sera utilisé pour la distillation. Pour de plus amples informations, veuillez consulter Option 2 : utilisation des journaux d’invocation pour la préparation des données.

        • (Facultatif) Pour Filtres de métadonnées des demandes, spécifiez des filtres si vous souhaitez qu’Amazon Bedrock n’utilise que certaines invites de vos journaux pour la distillation.

        • Choisissez Lire les invites ou Lire les paires invite-réponse en fonction de ce à quoi vous souhaitez qu’Amazon Bedrock accède à partir de vos journaux. N’oubliez pas que les réponses ne sont lues que si votre modèle enseignant correspond au modèle indiqué dans vos journaux.

  8. Pour Sortie de distillation, spécifiez l’emplacement S3 où vous souhaitez charger les métriques et les rapports relatifs à votre tâche de distillation.

    Pour de plus amples informations, veuillez consulter Analyse des résultats d’une tâche de personnalisation de modèles.

  9. Pour Paramètres VPC, choisissez une configuration VPC pour accéder au compartiment S3 contenant vos données d’entraînement.

    Pour de plus amples informations, veuillez consulter (Facultatif) Protection de vos tâches de personnalisation de modèles à l’aide d’un VPC.

  10. Pour Accès au service, spécifiez le rôle IAM afin d’accéder au compartiment S3 avec vos données d’entraînement. À moins que vous n’utilisiez un profil d’inférence entre régions ou des configurations VPC, vous pouvez créer le rôle dans la console Amazon Bedrock avec les autorisations appropriées configurées automatiquement. Vous pouvez également utiliser un rôle de service existant.

    Pour une tâche comportant des configurations Amazon VPC ou utilisant un profil d’inférence entre régions, vous devez créer un nouveau rôle de service dans IAM doté des autorisations requises.

    Pour de plus amples informations, veuillez consulter Création d’un rôle de service IAM pour la personnalisation du modèle.

  11. Choisissez Créer une tâche de distillation pour démarrer la tâche de distillation. Après avoir personnalisé un modèle, vous pouvez configurer l’inférence pour le modèle. Pour de plus amples informations, veuillez consulter Configuration de l’inférence pour un modèle personnalisé.

API

Vous devez au minimum fournir les champs suivants pour envoyer votre tâche de distillation de modèles lorsque vous utilisez l’API Amazon Bedrock.

Champ Description
baseModelIdentifier Identifiant du modèle étudiant
customModelName Nom du nouveau modèle distillé
jobName Nom de la tâche de distillation de modèles
roleArn Rôle autorisant Amazon Bedrock à lire les fichiers d’entraînement et de validation et à écrire dans le chemin de sortie
trainingDataConfig Chemin d’accès Amazon S3 contenant vos données d’entraînement
outputDataConfig Chemin d’accès Amazon S3 contenant vos métriques d’entraînement et de validation
distillationConfig Entrées requises pour la tâche de distillation
customModelKmsKeyId Pour chiffrer le modèle personnalisé
clientRequestToken Jeton pour empêcher que la demande ne soit traitée plusieurs fois

Les champs suivants sont facultatifs :

Champ Description
customizationType Paramétré sur DISTILLATION par défaut pour les tâches de distillation
validationDataConfig Liste chemins d’accès Amazon S3 des données de validation
jobTags Permet d’associer des balises à la tâche
customModelTags Permet d’associer des balises au modèle personnalisé qui en résulte
vpcConfig VPC pour protéger vos données d’entraînement et votre tâche de distillation

Pour éviter que la demande ne soit traitée plusieurs fois, incluez un clientRequestToken.

Vous pouvez inclure les champs facultatifs suivants pour des configurations supplémentaires.

Voici un exemple d'extrait de code de CreateModelCustomizationJobl'API. Cet exemple utilise les paires invite-réponse du journal des invocations comme source de données d’entrée et indique le filtre permettant de sélectionner les paires invite-réponse. 

"trainingDataConfig": {
    "invocationLogsConfig": {
        "usePromptResponse": true,
        "invocationLogSource": {
            "s3Uri": "string"
        },
        "requestMetadataFilters": {
            "equals": {
                "priority": "High"
            }
        }
    }
}

Réponse

La réponse renvoie un jobArn de la tâche de distillation de modèles.

Étapes suivantes