Envío de un trabajo de destilación de modelos en Amazon Bedrock - Amazon Bedrock
Requisitos previosEnvío de su trabajoSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Envío de un trabajo de destilación de modelos en Amazon Bedrock

Puede realizar la destilación del modelo a través de la consola de Amazon Bedrock o enviando una CreateModelCustomizationJobsolicitud con un punto final del plano de control de Amazon Bedrock.

Requisitos previos

Para obtener más información sobre cómo configurar la inferencia bajo demanda, consulte. Configuración de la inferencia para un modelo personalizado

Envío de su trabajo

Console

  1. Inicie sesión Consola de administración de AWS con una identidad de IAM que tenga permisos para usar la consola Amazon Bedrock. A continuación, abra la consola de Amazon Bedrock en https://console.aws.amazon.com/bedrock.

  2. En el panel de navegación de la izquierda, seleccione Modelos personalizados en Ajustar.

  3. Seleccione Crear trabajo de destilación.

  4. En Detalles de modelo, haga lo siguiente:

    1. En Nombre del modelo destilado, escriba un nombre para el modelo destilado.

    2. (Opcional) En Cifrado de modelos, seleccione la casilla de verificación si desea proporcionar una clave de KMS para cifrar su trabajo y sus artefactos relacionados.

      Para obtener más información, consulte Cifrado de los modelos personalizados.

    3. (Opcional) Aplique etiquetas a su modelo destilado.

  5. En Configuración del trabajo, haga lo siguiente:

    1. En Nombre de trabajo, escriba un nombre para su trabajo.

    2. (Opcional) En Cifrado de modelos, seleccione la casilla de verificación si desea proporcionar una clave de KMS para cifrar su trabajo y sus artefactos relacionados.

      Para obtener más información, consulte Cifrado de los modelos personalizados.

    3. (Opcional) Aplique etiquetas a su trabajo.

  6. En Detalles del modelo de profesor y del modelo de alumno, elija los modelos instructor y aprendiz para crear su modelo destilado.

    Para obtener más información, consulte Requisitos previos para la destilación modelo.

  7. En Generación de datos sintéticos, haga lo siguiente:

    1. En Longitud máxima de respuesta, especifique la longitud máxima de las respuestas sintéticas generadas por el modelo instructor.

    2. En Conjunto de datos de entrada de destilación, elija una de las siguientes opciones:

      • Cargar directamente en la ubicación de S3: especifique la ubicación de S3 en la que va a almacenar el conjunto de datos de entrada (peticiones) que se utilizará para la destilación. Para obtener más información, consulte Opción 1: Proporcione sus propias peticiones para la preparación de los datos.

      • Proporcionar acceso a los registros de invocación: especifique la ubicación de S3 en la que va a almacenar los registros de invocación con el conjunto de datos de entrada (peticiones) que se utilizará para la destilación. Para obtener más información, consulte Opción 2: Usar registros de invocación para la preparación de datos.

        • (Opcional) En Filtros de metadatos de solicitud, especifique los filtros si desea que Amazon Bedrock utilice únicamente determinadas peticiones de sus registros para la destilación.

        • Elija Leer peticiones o Leer pares de petición-respuesta en función de a qué desee que Amazon Bedrock acceda desde sus registros. Tenga en cuenta que las respuestas solo se leen si el modelo instructor coincide con el modelo de sus registros.

  8. En Salida de la destilación, especifique la ubicación de S3 en la que desea cargar las métricas y los informes sobre su trabajo de destilación.

    Para obtener más información, consulte Análisis de los resultados de un trabajo de personalización de modelos.

  9. En Configuración de la VPC, elija una configuración de VPC para acceder al bucket de S3 con sus datos de entrenamiento.

    Para obtener más información, consulte (Opcional) Protección de los trabajos de personalización de modelos mediante una VPC.

  10. En Acceso al servicio, especifique el rol de IAM para acceder al bucket de S3 con sus datos de entrenamiento. A menos que utilice un perfil de inferencia entre regiones o configuraciones de VPC, puede crear el rol en la consola de Amazon Bedrock con los permisos correctos configurados automáticamente. O puede usar un rol de servicio existente.

    Para un trabajo que tenga configuraciones de Amazon VPC o utilice un perfil de inferencia entre regiones, debe crear un nuevo rol de servicio en IAM que tenga los permisos necesarios.

    Para obtener más información, consulte Creación de un rol de servicio para la personalización de modelos.

  11. Seleccione Crear trabajo de destilación para iniciar el trabajo de destilación. Tras personalizar un modelo, puede configurar la inferencia para el modelo. Para obtener más información, consulte Configuración de la inferencia para un modelo personalizado.

API

Como mínimo, debe proporcionar los siguientes campos para enviar su trabajo de destilación de modelos cuando utilice la API de Amazon Bedrock.

Campo Description (Descripción)
baseModelIdentifier El identificador de modelo del modelo aprendiz
customModelName El nombre del nuevo modelo destilado
jobName El nombre del trabajo de destilación de modelos
roleArn Rol que otorga a Amazon Bedrock permisos para leer archivos de entrenamiento y validación, y escribir en la ruta de salida
trainingDataConfig La ruta de Amazon S3 que contiene sus datos de entrenamiento
outputDataConfig La ruta de Amazon S3 que contiene sus métricas de entrenamiento y validación
distillationConfig Entradas necesarias para el trabajo de destilación
customModelKmsKeyId Para cifrar el modelo personalizado
clientRequestToken Token para evitar que la solicitud se realice más de una vez

Los siguientes campos son opcionales:

Campo Description (Descripción)
customizationType Se establece en DISTILLATION de forma predeterminada para los trabajos de destilación
validationDataConfig Lista de rutas de Amazon S3 de datos de validación
jobTags Para asociar etiquetas al flujo
customModelTags Para asociar etiquetas al modelo personalizado resultante
vpcConfig VPC para proteger sus datos de entrenamiento y su trabajo de destilación

Para evitar que la solicitud se complete más de una vez, incluya un clientRequestToken.

Puede incluir los siguientes campos opcionales para obtener configuraciones adicionales.

El siguiente es un fragmento de ejemplo de CreateModelCustomizationJobla API. En este ejemplo, se utilizan los pares de petición-respuesta del registro de invocación como el origen de datos de entrada y se especifica el filtro para seleccionar los pares de petición-respuesta. 

"trainingDataConfig": {
    "invocationLogsConfig": {
        "usePromptResponse": true,
        "invocationLogSource": {
            "s3Uri": "string"
        },
        "requestMetadataFilters": {
            "equals": {
                "priority": "High"
            }
        }
    }
}

Respuesta

La respuesta devuelve un jobArn del trabajo de destilación de modelos.

Siguientes pasos