Préparation des données pour la distillation des modèles de compréhension - Amazon Nova
Exemples de formats de jeux de donnéesContraintes liées aux jeux de données

Préparation des données pour la distillation des modèles de compréhension

Dans un premier temps, suivez les instructions Bonnes pratiques en matière de compréhension de texte et ajustez votre invite d’entrée avec Amazon Nova Premier et Amazon Nova Pro afin de vous assurer que l’invite est optimisée pour tirer le meilleur parti du modèle enseignant.

Lorsque vous préparez votre jeu de données d’entrée pour une tâche de distillation à l’aide de vos propres invites, suivez les recommandations ci-dessous :

  • Lorsque seules des données d’invite non étiquetées sont disponibles, complétez-les avec une petite quantité (~10) de données de paires invite-réponse étiquetées de haute qualité afin d’aider le modèle à mieux apprendre. Si vous soumettez un petit nombre d’exemples représentatifs de haute qualité, vous pouvez créer un modèle personnalisé qui dépasse les performances du modèle enseignant.

  • Lorsque des jeux de données étiquetées de paires invite-réponse sont disponibles mais peuvent être améliorées, incluez les réponses dans les jeux de données soumis.

  • Lorsque des jeux de données étiquetées de paires invite-réponse sont disponibles mais que les étiquettes sont de mauvaise qualité et que la formation serait mieux adaptée pour s’aligner directement sur le modèle enseignant, supprimez toutes les réponses avant de soumettre les jeux de données.

Exemples de formats de jeux de données

Les invites suivantes fournissent des exemples de la manière dont vous pouvez fournir des invites étiquetées et non étiquetées pour la distillation de modèles.

Distillation à l’aide des invites sans étiquettes

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "Why is the sky blue?"
                }
            ]
        }
    ]
}

Distillation à l’aide des invites avec étiquettes

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "Why is the sky blue?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
                }
            ]
        }
    ]
}

Contraintes liées aux jeux de données

Lorsque vous effectuez une distillation de modèle, vous devez fournir un nombre minimum et maximum d’invites ou de paires invite-réponse.

Élément

Minimum

Maximum

Invites

100

15 000

Paires invite-réponse

100

15 000