Personalización de un modelo con destilación en Amazon Bedrock - Amazon Bedrock
Cómo funciona Destilación de modelos de Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Personalización de un modelo con destilación en Amazon Bedrock

La destilación de modelos es el proceso de transferir el conocimiento de un modelo inteligente más grande (conocido como instructor) a un modelo más pequeño, más rápido y económico (conocido como aprendiz). En este proceso, el rendimiento del modelo aprendiz mejora para un caso de uso específico. Destilación de modelos de Amazon Bedrock utiliza las técnicas de síntesis de datos más recientes para generar respuestas diversas y de alta calidad (conocidos como datos sintéticos) a partir del modelo instructor y refina el modelo aprendiz.

Para utilizar Destilación de modelos de Amazon Bedrock, haga lo siguiente:

  1. Elija un modelo instructor y un modelo aprendiz. Para obtener más información, consulte Selección de los modelos instructor y aprendiz para la destilación.

  2. Preparare los datos de entrenamiento para la destilación. Los datos de entrenamiento son un conjunto de peticiones almacenadas en archivos .jsonl. Amazon Bedrock utiliza los datos de entrada para generar respuestas del modelo instructor y utiliza las respuestas para refinar el modelo aprendiz.

  3. Creación de un trabajo de destilación Este trabajo crea un modelo más pequeño, rápido y económico para su caso de uso. Solo usted puede acceder al modelo destilado final. Amazon Bedrock no utiliza sus datos para entrenar ningún otro modelo instructor o aprendiz para uso público. Para obtener más información, consulte Envío de un trabajo de destilación de modelos en Amazon Bedrock. Cuando finalice el trabajo de destilación de modelos, puede analizar los resultados del proceso de personalización. Para obtener más información, consulte Análisis de los resultados de un trabajo de personalización de modelos. Para obtener información sobre cómo configurar la inferencia del modelo, consulte Configuración de la inferencia para un modelo personalizado.

Temas

Cómo funciona Destilación de modelos de Amazon Bedrock

Destilación de modelos de Amazon Bedrock es un flujo de trabajo único que automatiza el proceso de creación de un modelo destilado. En este flujo de trabajo, Amazon Bedrock genera respuestas de un modelo instructor, añade técnicas de síntesis de datos para mejorar la generación de respuestas y refina el modelo aprendiz con las respuestas generadas. El conjunto de datos aumentado se divide en conjuntos de datos independientes para su uso en el entrenamiento y la validación. Amazon Bedrock usa solo los datos del conjunto de datos de entrenamiento para refinar el modelo aprendiz.

Una vez que haya identificado los modelos instructor y aprendiz, puede elegir cómo quiere que Amazon Bedrock cree un modelo destilado para su caso de uso. Amazon Bedrock puede generar respuestas del modelo instructor utilizando las peticiones que usted proporciona o puede utilizar las respuestas de sus datos de producción a través de los registros de invocación. Destilación de modelos de Amazon Bedrock utiliza estas respuestas para refinar el modelo aprendiz.

nota

Si Amazon Bedrock Model Distillation utiliza sus técnicas de síntesis de datos patentadas para generar respuestas de mayor calidad para los profesores, Cuenta de AWS incurrirá en cargos adicionales por las llamadas de inferencia al modelo docente. Estos cargos se facturarán según las tarifas de inferencia bajo demanda del modelo instructor. Las técnicas de síntesis de datos pueden aumentar el tamaño del conjunto de datos de refinamiento hasta un máximo de 15 000 pares de petición-respuesta. Para obtener más información sobre los cargos de Amazon Bedrock, consulte Precios de Amazon Bedrock.

Creación de un modelo destilado utilizando las peticiones que usted proporcione

Amazon Bedrock utiliza las peticiones de entrada que usted proporciona para generar respuestas del modelo instructor. A continuación, Amazon Bedrock utiliza las respuestas para refinar el modelo aprendiz designado. Según su caso de uso, Amazon Bedrock podría añadir técnicas de síntesis de datos patentados para generar respuestas diversas y de mayor calidad. Por ejemplo, Amazon Bedrock podría generar peticiones similares para generar respuestas más diversas del modelo instructor. O bien, si proporciona algunos datos de entrada etiquetados como pares de petición-respuesta, Amazon Bedrock podría utilizar estos pares como ejemplos de referencia para indicar al modelo instructor que genere respuestas similares de alta calidad.

Creación de un modelo destilado con datos de producción

Si ya tiene las respuestas generadas por el modelo instructor y las ha guardado en los registros de invocación, puede utilizar esas respuestas del modelo instructor existentes para refinar el modelo aprendiz. Para ello, tendrá que proporcionar a Amazon Bedrock acceso a sus registros de invocación. Un registro de invocación en Amazon Bedrock es un registro detallado de las invocaciones del modelo. Para obtener más información, consulte Supervisar la invocación del modelo mediante registros. CloudWatch

Si elige esta opción, podrá seguir utilizando las operaciones de la API de inferencia de Amazon Bedrock, como InvokeModella API Converse, y recopilar los registros de invocación, los datos de entrada del modelo (solicitudes) y los datos de salida del modelo (respuestas) para todas las invocaciones utilizadas en Amazon Bedrock.

Cuando genera respuestas a partir del modelo mediante las operaciones de la API InvokeModel o Converse, si lo desea, puede añadir requestMetadata a las respuestas. Al crear un trabajo de destilación, puede filtrar por estos metadatos como parte de la configuración de los registros de invocación. Puede filtrar por sus casos de uso específicos y, en tal caso, Amazon Bedrock solo usará las respuestas filtradas para refinar su modelo aprendiz. Si decide utilizar los registros de invocación para refinar su modelo aprendiz, puede hacer que Amazon Bedrock utilice únicamente las peticiones o que utilice pares de petición-respuesta.

Selección de peticiones con registros de invocación

Si decide que Amazon Bedrock utilice únicamente las peticiones de los registros de invocación, Amazon Bedrock utilizará las peticiones para generar respuestas del modelo instructor. A continuación, Amazon Bedrock utiliza las respuestas para refinar el modelo aprendiz designado. Según su caso de uso, Destilación de modelos de Amazon Bedrock podría añadir técnicas de síntesis de datos patentados para generar respuestas diversas y de mayor calidad.

Selección de pares de petición-respuesta con registros de invocación

Si decide que Amazon Bedrock utilice pares de petición-respuesta de los registros de invocación, Amazon Bedrock no volverá a generar las respuestas del modelo instructor y utilizará las respuestas del registro de invocación para refinar el modelo aprendiz. Para que Amazon Bedrock lea las respuestas de los registros de invocación, el modelo instructor especificado en su trabajo de destilación de modelos debe coincidir con el modelo utilizado en el registro de invocación. Si no coinciden, no se utilizan los registros de invocaciones. Si ha agregado metadatos de solicitud a las respuestas del registro de invocación, para refinar el modelo aprendiz, puede especificar los filtros de metadatos de solicitud para que Amazon Bedrock lea solo registros específicos que sean válidos para su caso de uso.