Preparación de datos para destilar modelos de comprensión - Amazon Nova
Ejemplo de formatos de conjuntos de datosRestricciones del conjunto de datos

Preparación de datos para destilar modelos de comprensión

Como primer paso, siga Prácticas recomendadas para peticiones de comprensión de textos y afine su petición de entrada con Amazon Nova Premier y Amazon Nova Pro para asegurarse de que esté optimizada para aprovechar al máximo el modelo instructor.

Cuando prepare su conjunto de datos de entrada para un trabajo de destilación utilizando sus propias peticiones, siga las recomendaciones que se indican a continuación:

  • Cuando solo estén disponibles datos de peticiones sin etiquetar, complételos con una pequeña cantidad (~10) de datos de pares de petición-respuesta etiquetados y seleccionados de alta calidad para ayudar al modelo a aprender mejor. Si envía un número reducido de ejemplos representativos y de alta calidad, puede crear un modelo personalizado que supere el rendimiento del modelo instructor.

  • Cuando los datos etiquetados de pares de petición-respuesta estén disponibles, pero tengan algún margen de mejora, incluya las respuestas en los datos enviados.

  • Cuando los datos etiquetados de pares de petición-respuesta estén disponibles, pero las etiquetas sean de mala calidad y el entrenamiento sería más adecuado para alinearse directamente con el modelo instructor, elimine todas las respuestas antes de enviar los datos.

Ejemplo de formatos de conjuntos de datos

Las siguientes peticiones proporcionan ejemplos de cómo puede proporcionar peticiones etiquetadas y no etiquetadas para la destilación de modelos.

Destilación mediante peticiones sin etiquetas

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "Why is the sky blue?"
                }
            ]
        }
    ]
}

Destilación mediante peticiones con etiquetas

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "Why is the sky blue?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
                }
            ]
        }
    ]
}

Restricciones del conjunto de datos

Al realizar una destilación de modelos, hay un número mínimo y máximo de peticiones o pares de peticiones y respuestas que debe proporcionar.

Elemento

Mínimo

Máximo

Mensajes

100

15 000

Pares de petición y respuesta

100

15 000