Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Personalización de un modelo con destilación en Amazon Bedrock
La destilación de modelos es el proceso de transferir el conocimiento de un modelo inteligente más grande (conocido como instructor) a un modelo más pequeño, más rápido y económico (conocido como aprendiz). En este proceso, el rendimiento del modelo aprendiz mejora para un caso de uso específico. Destilación de modelos de Amazon Bedrock utiliza las técnicas de síntesis de datos más recientes para generar respuestas diversas y de alta calidad (conocidos como datos sintéticos) a partir del modelo instructor y refina el modelo aprendiz.
Cómo usar Amazon Bedrock Model Distillation
Para utilizar Destilación de modelos de Amazon Bedrock, haga lo siguiente:
-
Elija un modelo de profesor y un modelo de alumno: para obtener más información, consulte. Requisitos previos para la destilación modelo
-
Prepara los datos de entrenamiento para su síntesis: los datos de entrenamiento son un conjunto de indicaciones almacenadas en
.jsonlarchivos. Amazon Bedrock utiliza los datos de entrada para generar respuestas del modelo instructor y utiliza las respuestas para refinar el modelo aprendiz.-
Optimiza las indicaciones: formatea las instrucciones de entrada para el caso de uso que desees. Para obtener más información, consulte Optimización de sus peticiones de entrada para la generación de datos sintéticos.
-
Utilice ejemplos etiquetados: prepare los datos de entrada etiquetados como pares de solicitud-respuesta. Amazon Bedrock puede utilizar estos pares como ejemplos de referencia al generar respuestas del modelo instructor. Para obtener más información, consulte Opción 1: Proporcione sus propias peticiones para la preparación de los datos.
-
Use registros de invocación: si habilita el registro de invocaciones de CloudWatch Logs, puede usar las respuestas de los profesores existentes de los registros de invocación almacenados en Amazon S3 como datos de entrenamiento. Un registro de invocación en Amazon Bedrock es un registro detallado de las invocaciones del modelo. Para obtener más información, consulte Opción 2: Usar registros de invocación para la preparación de datos.
-
-
Cree un trabajo de síntesis: este trabajo crea un modelo más pequeño, rápido y rentable para su caso de uso. Solo usted puede acceder al modelo destilado final. Amazon Bedrock no utiliza sus datos para entrenar ningún otro modelo instructor o aprendiz para uso público. Para obtener más información, consulte Envío de un trabajo de destilación de modelos en Amazon Bedrock. Para obtener más información sobre cómo configurar la inferencia bajo demanda, consulte. Configuración de la inferencia para un modelo personalizado
Cómo funciona Destilación de modelos de Amazon Bedrock
Destilación de modelos de Amazon Bedrock es un flujo de trabajo único que automatiza el proceso de creación de un modelo destilado. En este flujo de trabajo, Amazon Bedrock genera respuestas de un modelo instructor, añade técnicas de síntesis de datos para mejorar la generación de respuestas y refina el modelo aprendiz con las respuestas generadas. El conjunto de datos aumentado se divide en conjuntos de datos independientes para su uso en el entrenamiento y la validación. Amazon Bedrock usa solo los datos del conjunto de datos de entrenamiento para refinar el modelo aprendiz.
Una vez que haya identificado los modelos instructor y aprendiz, puede elegir cómo quiere que Amazon Bedrock cree un modelo destilado para su caso de uso. Amazon Bedrock puede generar respuestas del modelo instructor utilizando las peticiones que usted proporciona o puede utilizar las respuestas de sus datos de producción a través de los registros de invocación. Destilación de modelos de Amazon Bedrock utiliza estas respuestas para refinar el modelo aprendiz.
nota
Si Amazon Bedrock Model Distillation utiliza sus técnicas de síntesis de datos patentadas para generar respuestas de mayor calidad para los profesores, Cuenta de AWS incurrirá en cargos adicionales por las llamadas de inferencia al modelo docente. Estos cargos se facturarán según las tarifas de inferencia bajo demanda del modelo instructor. Las técnicas de síntesis de datos pueden aumentar el tamaño del conjunto de datos de refinamiento hasta un máximo de 15 000 pares de petición-respuesta. Para obtener más información sobre los cargos de Amazon Bedrock, consulte Precios de Amazon Bedrock
Amazon Bedrock utiliza las peticiones de entrada que usted proporciona para generar respuestas del modelo instructor. A continuación, Amazon Bedrock utiliza las respuestas para refinar el modelo aprendiz designado. Según su caso de uso, Amazon Bedrock podría añadir técnicas de síntesis de datos patentados para generar respuestas diversas y de mayor calidad. Por ejemplo, Amazon Bedrock podría generar peticiones similares para generar respuestas más diversas del modelo instructor. O bien, si proporciona algunos datos de entrada etiquetados como pares de petición-respuesta, Amazon Bedrock podría utilizar estos pares como ejemplos de referencia para indicar al modelo instructor que genere respuestas similares de alta calidad.
Si ya tiene las respuestas generadas por el modelo instructor y las ha guardado en los registros de invocación, puede utilizar esas respuestas del modelo instructor existentes para refinar el modelo aprendiz. Para ello, tendrá que proporcionar a Amazon Bedrock acceso a sus registros de invocación. Un registro de invocación en Amazon Bedrock es un registro detallado de las invocaciones del modelo. Para obtener más información, consulte Supervisar la invocación del modelo mediante registros. CloudWatch
Si elige esta opción, podrá seguir utilizando las operaciones de la API de inferencia de Amazon Bedrock, como InvokeModella API Converse, y recopilar los registros de invocación, los datos de entrada del modelo (solicitudes) y los datos de salida del modelo (respuestas) para todas las invocaciones utilizadas en Amazon Bedrock.
Cuando genera respuestas a partir del modelo mediante las operaciones de la API InvokeModel o Converse, si lo desea, puede añadir requestMetadata a las respuestas. Al crear un trabajo de destilación, puede filtrar por estos metadatos como parte de la configuración de los registros de invocación. Puede filtrar por sus casos de uso específicos y, en tal caso, Amazon Bedrock solo usará las respuestas filtradas para refinar su modelo aprendiz. Si decide utilizar los registros de invocación para refinar su modelo aprendiz, puede hacer que Amazon Bedrock utilice únicamente las peticiones o que utilice pares de petición-respuesta.
