Personaliza un modelo con destilación en Amazon Bedrock - Amazon Bedrock
Cómo funciona Amazon Bedrock Model Distillation

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Personaliza un modelo con destilación en Amazon Bedrock

La síntesis de modelos es el proceso de transferir el conocimiento de un modelo más grande e inteligente (conocido como profesor) a un modelo más pequeño, rápido y rentable (conocido como estudiante). En este proceso, el rendimiento del modelo estudiantil mejora para un caso de uso específico. Amazon Bedrock Model Distillation utiliza las técnicas de síntesis de datos más recientes para generar respuestas diversas y de alta calidad (conocidas como datos sintéticos) a partir del modelo del profesor y ajusta el modelo del alumno.

Para utilizar Amazon Bedrock Model Distillation, haga lo siguiente:

  1. Elige un modelo de profesor y un modelo de alumno. Para obtener más información, consulte Elija modelos de destilación para profesores y alumnos.

  2. Prepara tus datos de entrenamiento para la destilación. Los datos de entrenamiento son un conjunto de indicaciones almacenadas en .jsonl archivos. Amazon Bedrock utiliza los datos de entrada para generar respuestas a partir del modelo docente y las utiliza para ajustar el modelo estudiantil.

  3. Cree un trabajo de destilación. Este trabajo crea un modelo más pequeño, rápido y rentable para su caso de uso. Solo usted puede acceder al modelo destilado final. Amazon Bedrock no utiliza sus datos para capacitar a ningún otro modelo de profesor o alumno para uso público. Para obtener más información, consulte Envíe un trabajo de destilación modelo en Amazon Bedrock. Cuando finalice su trabajo de destilación, podrá analizar los resultados del proceso de personalización. Para obtener más información, consulte Análisis de los resultados de un trabajo de personalización de modelos. Para obtener información sobre cómo configurar la inferencia para su modelo, consulte. Configurar la inferencia para un modelo personalizado

Temas

Cómo funciona Amazon Bedrock Model Distillation

Amazon Bedrock Model Distillation es un flujo de trabajo único que automatiza el proceso de creación de un modelo destilado. En este flujo de trabajo, Amazon Bedrock genera respuestas a partir de un modelo docente, añade técnicas de síntesis de datos para mejorar la generación de respuestas y ajusta el modelo del alumno con las respuestas generadas. El conjunto de datos aumentado se divide en conjuntos de datos separados para usarlos en la capacitación y la validación. Amazon Bedrock usa solo los datos del conjunto de datos de entrenamiento para ajustar el modelo del estudiante.

Una vez que haya identificado sus modelos de profesor y alumno, puede elegir cómo quiere que Amazon Bedrock cree un modelo resumido para su caso de uso. Amazon Bedrock puede generar las respuestas de los profesores mediante las indicaciones que usted proporcione o puede utilizar las respuestas de sus datos de producción mediante registros de invocación. Amazon Bedrock Model Distillation utiliza estas respuestas para afinar el modelo de los estudiantes.

nota

Si Amazon Bedrock Model Distillation utiliza sus técnicas de síntesis de datos patentadas para generar respuestas de mayor calidad para los profesores, Cuenta de AWS incurrirá en cargos adicionales por las llamadas de inferencia al modelo docente. Estos cargos se facturarán según las tarifas de inferencia bajo demanda del modelo docente. Las técnicas de síntesis de datos pueden aumentar el tamaño del conjunto de datos de ajuste fino hasta un máximo de 15 000 pares de pronto-respuesta. Para obtener más información sobre los cargos de Amazon Bedrock, consulta los precios de Amazon Bedrock.

Crear un modelo destilado siguiendo las instrucciones que usted proporcione

Amazon Bedrock utiliza las solicitudes de entrada que usted proporciona para generar respuestas a partir del modelo docente. A continuación, Amazon Bedrock utiliza las respuestas para afinar el modelo de estudiante que ha identificado. Según su caso de uso, Amazon Bedrock podría añadir técnicas de síntesis de datos patentadas para generar respuestas diversas y de mayor calidad. Por ejemplo, Amazon Bedrock podría generar mensajes similares para generar respuestas más diversas a partir del modelo docente. O bien, si lo desea, proporciona un puñado de datos de entrada etiquetados como pares de pronto-respuesta, Amazon Bedrock podría utilizar estos pares como ejemplos de oro para indicar al profesor que genere respuestas similares de alta calidad.

Crear un modelo destilado a partir de datos de producción

Si ya tiene las respuestas generadas por el modelo docente y las ha guardado en los registros de invocación, puede utilizar esas respuestas del profesor existentes para ajustar el modelo estudiantil. Para ello, tendrá que proporcionar a Amazon Bedrock acceso a sus registros de invocación. Un registro de invocaciones en Amazon Bedrock es un registro detallado de las invocaciones de modelos. Para obtener más información, consulte Supervisar la invocación del modelo mediante registros. CloudWatch

Si elige esta opción, podrá seguir utilizando las operaciones de la API de inferencia de Amazon Bedrock, como InvokeModella API Converse, y recopilar los registros de invocación, los datos de entrada del modelo (solicitudes) y los datos de salida del modelo (respuestas) para todas las invocaciones utilizadas en Amazon Bedrock.

Cuando genera respuestas a partir del modelo mediante las operaciones de la Converse API InvokeModel o las operaciones de API, si lo desea, puede añadirlas a las respuestas. requestMetadata Al crear un trabajo de destilación, puede filtrar por estos metadatos como parte de la configuración de los registros de invocación. Puede filtrar por sus casos de uso específicos y, a continuación, Amazon Bedrock solo usa las respuestas filtradas para ajustar su modelo de estudiante. Si decide utilizar los registros de invocación para ajustar su modelo de estudiante, puede hacer que Amazon Bedrock utilice únicamente las indicaciones o que utilice pares de solicitudes y respuestas.

Elegir mensajes con registros de invocación

Si decide que Amazon Bedrock utilice únicamente las solicitudes de los registros de invocación, Amazon Bedrock utilizará las solicitudes para generar respuestas a partir del modelo docente. En este caso, Amazon Bedrock utiliza las respuestas para ajustar el modelo de estudiante que ha identificado. Según su caso de uso, Amazon Bedrock Model Distillation podría añadir técnicas de síntesis de datos patentadas para generar respuestas diversas y de mayor calidad.

Elegir pares de pronto-respuesta con registros de invocación

Si decide que Amazon Bedrock utilice pares de pronto-respuesta de los registros de invocación, Amazon Bedrock no volverá a generar las respuestas del modelo docente y utilizará las respuestas del registro de invocación para ajustar el modelo del alumno. Para que Amazon Bedrock lea las respuestas de los registros de invocación, el modelo docente especificado en su trabajo de destilación de modelos debe coincidir con el modelo utilizado en el registro de invocación. Si no coinciden, no se utilizan los registros de invocación. Si ha agregado metadatos de solicitud a las respuestas del registro de invocación, para ajustar el modelo del estudiante, puede especificar los filtros de metadatos de solicitud para que Amazon Bedrock lea solo registros específicos que sean válidos para su caso de uso.