Entrenamiento previo continuo (CPT)
El entrenamiento previo continuo (CPT) es una técnica de entrenamiento que amplía la fase de entrenamiento previo de un modelo básico exponiéndolo a texto adicional sin etiquetar de dominios o corpus específicos. A diferencia del refinamiento supervisado, que requiere combinaciones de entradas y salidas etiquetadas, el CPT entrena con documentos sin procesar para ayudar al modelo a adquirir un conocimiento más profundo de nuevos dominios, aprender terminología y patrones de escritura específicos de cada dominio y adaptarse a tipos de contenido o áreas temáticas particulares.
Este enfoque es particularmente valioso cuando se tienen grandes volúmenes (decenas de miles de millones de tokens) de datos de texto específicos de un dominio, como documentos legales, bibliografía médica, documentación técnica o contenido empresarial patentado, y se desea que el modelo desarrolle una fluidez nativa en ese dominio. Por lo general, después de la fase de CPT, el modelo tiene que pasar por etapas adicionales de ajuste mediante instrucciones para poder utilizar el conocimiento recién adquirido y completar tareas útiles.
Modelos compatibles
El CPT está disponible para los siguientes modelos de Amazon Nova:
-
Nova 1.0 (Micro, Lite, Pro)
-
Nova 2.0 (Lite)
Elija Nova 1.0 cuando en los siguientes casos de uso:
-
Su caso de uso requiere una comprensión del lenguaje estándar sin un razonamiento avanzado.
-
Desea optimizar el proceso para reducir los costos derivados del entrenamiento y la inferencia.
-
Su objetivo es enseñar al modelo conocimientos y comportamientos específicos del dominio, en lugar de realizar tareas de razonamiento complejas.
-
Ya ha validado el rendimiento en Nova 1.0 y no necesita capacidades adicionales.
nota
El modelo más grande no siempre es mejor. Tenga en cuenta la relación costo-rendimiento y los requisitos específicos de su empresa cuando tenga que elegir entre los modelos de Nova 1.0 y Nova 2.0.
