Envíe un trabajo de destilación modelo en Amazon Bedrock - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Envíe un trabajo de destilación modelo en Amazon Bedrock

Puede realizar la destilación del modelo a través de la consola de Amazon Bedrock o enviando una CreateModelCustomizationJobsolicitud con un punto final del plano de control de Amazon Bedrock.

Requisitos previos

Cuando finalice su trabajo de destilación, podrá analizar los resultados del proceso de personalización. Para obtener más información, consulte Análisis de los resultados de un trabajo de personalización de modelos. Para obtener información sobre cómo configurar la inferencia para su modelo, consulte. Configurar la inferencia para un modelo personalizado

Envíe su trabajo

Console
  1. Inicie sesión en AWS Management Console con un director de IAM que tenga permisos para usar la consola Amazon Bedrock. A continuación, abra la consola Amazon Bedrock en https://console.aws.amazon.com/bedrock/.

  2. En el panel de navegación de la izquierda, seleccione Modelos personalizados en Modelos fundacionales.

  3. Seleccione Crear trabajo de destilación.

  4. Para ver los detalles del modelo Distilled, haga lo siguiente:

    1. En el campo Nombre del modelo destilado, introduzca un nombre para el modelo destilado.

    2. (Opcional) Para el cifrado de modelos, seleccione la casilla de verificación si desea proporcionar una clave KMS para cifrar su trabajo y sus artefactos relacionados.

      Para obtener más información, consulte Cifrado de modelos personalizados.

    3. (Opcional) Aplique etiquetas a su modelo destilado.

  5. Para configurar Job, haga lo siguiente:

    1. En Nombre del trabajo, introduzca un nombre para su trabajo de destilación.

    2. (Opcional) Para el cifrado de modelos, seleccione la casilla de verificación si desea proporcionar una clave KMS para cifrar su trabajo y sus artefactos relacionados.

      Para obtener más información, consulte Cifrado de modelos personalizados.

    3. (Opcional) Aplica etiquetas a tu trabajo.

  6. Para los detalles del modelo profesor: modelo de alumno, elija los modelos de profesor y alumno para crear su modelo resumido.

    Para obtener más información, consulte Elija modelos de destilación para profesores y alumnos.

  7. Para la generación de datos sintéticos, haga lo siguiente:

    1. En Longitud máxima de respuesta, especifique la longitud máxima de las respuestas sintéticas generadas por el modelo docente.

    2. Para el conjunto de datos de entrada de Distillation, elija una de las siguientes opciones:

      • Cargue directamente a la ubicación de S3: especifique la ubicación de S3 en la que va a almacenar el conjunto de datos de entrada (indicaciones) que se utilizará para la destilación. Para obtener más información, consulte Opción 1: Proporcione sus propias indicaciones para la preparación de los datos.

      • Proporcione acceso a los registros de invocación: especifique la ubicación de S3 en la que va a almacenar los registros de invocación con el conjunto de datos de entrada (solicitudes) que se utilizará para la síntesis. Para obtener más información, consulte Opción 2: usar registros de invocación para la preparación de datos.

        • (Opcional) En el caso de los filtros de metadatos de solicitud, especifique los filtros si desea que Amazon Bedrock utilice únicamente determinadas indicaciones en sus registros para la destilación.

        • Elija Leer mensajes o Leer pares de mensajes y respuestas en función de a qué desee que Amazon Bedrock acceda desde sus registros. Tenga en cuenta que las respuestas solo se leen si el modelo de su profesor coincide con el modelo de sus registros.

  8. Para el resultado de la destilación, especifique la ubicación S3 en la que desea cargar las métricas y los informes sobre su trabajo de destilación.

    Para obtener más información, consulte Análisis de los resultados de un trabajo de personalización de modelos.

  9. Para la configuración de VPC, elige una configuración de VPC para acceder al bucket de S3 con tus datos de entrenamiento.

    Para obtener más información, consulte (Opcional) Proteja sus trabajos de personalización de modelos mediante una VPC.

  10. Para el acceso al servicio, especifica la función de IAM para acceder al depósito de S3 con tus datos de entrenamiento. A menos que utilice un perfil de inferencia entre regiones o configuraciones de VPC, puede crear el rol en la consola de Amazon Bedrock con los permisos correctos configurados automáticamente. O bien, puede utilizar un rol de servicio existente.

    Para un trabajo que tenga configuraciones de Amazon VPC o utilice un perfil de inferencia entre regiones, debe crear un nuevo rol de servicio en IAM que tenga los permisos necesarios.

    Para obtener más información, consulte Cree un rol de servicio de IAM para la personalización del modelo.

  11. Seleccione Crear trabajo de destilación para iniciar el trabajo de destilación. Después de personalizar un modelo, puede configurar la inferencia para el modelo. Para obtener más información, consulte Configurar la inferencia para un modelo personalizado.

API

Como mínimo, debe proporcionar los siguientes campos para enviar su trabajo de destilación modelo cuando utilice la API Amazon Bedrock.

Campo Descripción
baseModelIdentifier El identificador del modelo del alumno
customModelName El nombre del nuevo modelo destilado
jobName El nombre del trabajo de destilación del modelo
roleArn Función que otorga a Amazon Bedrock permisos para leer archivos de formación y validación y escribir en la ruta de salida
trainingDataConfig La ruta de Amazon S3 que contiene tus datos de entrenamiento
outputDataConfig La ruta de Amazon S3 que contiene sus métricas de formación y validación
DistillationConfig Entradas necesarias para el trabajo de destilación
customModelKmsKeyId Para cifrar el modelo personalizado
clientRequestToken Token para evitar que la solicitud se complete más de una vez

Los siguientes campos son opcionales:

Campo Descripción
Tipo de personalización Se establece en forma DISTILLATION predeterminada para los trabajos de destilación
validationDataConfig Lista de rutas de datos de validación de Amazon S3
Etiquetas de trabajo Para asociar etiquetas al trabajo
customModelTags Para asociar etiquetas al modelo personalizado resultante
vpcConfig VPC para proteger sus datos de entrenamiento y su trabajo de destilación

Para evitar que la solicitud se complete más de una vez, incluya un clientRequestToken.

Puede incluir los siguientes campos opcionales para obtener configuraciones adicionales.

El siguiente es un fragmento de ejemplo de CreateModelCustomizationJobla API. En este ejemplo, se utilizan los pares de solicitud-respuesta del registro de invocación como fuente de datos de entrada y se especifica el filtro para seleccionar los pares de solicitud-respuesta.

"trainingDataConfig": { "invocationLogsConfig": { "usePromptResponse": true, "invocationLogSource": { "s3Uri": "string" }, "requestMetadataFilters": { "equals": { "priority": "High" } } } }

Respuesta

La respuesta devuelve una parte del trabajo de destilación jobArn del modelo.

Pasos a seguir a continuación