Creación de un trabajo de optimización de inferencias

Cómo empezar a crear un trabajo de optimización

1. En SageMaker AI Studio, cree un trabajo de optimización mediante cualquiera de las siguientes rutas:

   • Para crear un trabajo para un JumpStart modelo, haga lo siguiente:

     1. En el menú de navegación, elija JumpStart.

     2. En la página Todos los modelos públicos, elija un proveedor de modelos y, a continuación, seleccione uno de los modelos que admitan la optimización.

     3. En la página de detalles del modelo, elija Optimizar. Este botón solo está habilitado para los modelos que admiten la optimización.

     4. En la página Crear un trabajo de optimización de inferencias, algunos JumpStart modelos requieren que firme un acuerdo de licencia de usuario final (EULA) antes de poder continuar. Si se solicita, revise los términos de la licencia en la sección Acuerdo de licencia. Si los términos son aceptables para el caso de uso, seleccione la casilla de verificación Acepto el EULA, y he leído los términos y las condiciones.

   • Para crear un trabajo para un JumpStart modelo ajustado, haga lo siguiente:

     1. En el panel de navegación, en Trabajos, elija Entrenamiento.

     2. En la página Trabajos de formación, elija el nombre de un trabajo que utilizó para ajustar un JumpStart modelo. Estos trabajos tienen el tipo JumpStartFormación en la columna Tipo de trabajo.

     3. En la página de detalles del trabajo de entrenamiento, elija Optimizar.

   • Para crear un trabajo para un modelo personalizado, haga lo siguiente:

     1. En el menú de navegación, en Trabajos, elija Optimización de inferencias.

     2. Elija Crear nuevo tarea.

     3. En la página Crear trabajo de optimización de inferencias, elija Agregar modelo.

     4. En la ventana Agregar modelo, elija Modelo personalizado.

     5. Elija una de las siguientes opciones:

        Usa tu modelo actual: selecciona esta opción para optimizar un modelo que ya hayas creado en SageMaker IA.

        Nombre del modelo existente: introduzca el nombre de su modelo de SageMaker IA.

        Desde S3: seleccione esta opción para proporcionar artefactos modelo de Amazon S3. En URI de S3, introduzca el URI de la ubicación de Amazon S3 en la que ha almacenado los artefactos del modelo.

     6. (Opcional) En el nombre del modelo de salida, puede introducir un nombre personalizado para el modelo optimizado que crea el trabajo. Si no proporciona un nombre, Studio generará uno automáticamente en función de su selección.

2. En la página Crear trabajo de optimización de inferencias, en Nombre del trabajo, puede aceptar el nombre predeterminado que la SageMaker IA asigna. O bien, para introducir un nombre de trabajo personalizado, seleccione el campo Nombre del trabajo y elija Introducir nombre del trabajo.

Establecimiento de las configuraciones de optimización

1. En Tipo de instancia de implementación, elija el tipo de instancia para el que desee optimizar el modelo.

   El tipo de instancia afecta a las técnicas de optimización que puede elegir. Para la mayoría de los tipos que utilizan hardware de GPU, las técnicas admitidas son Cuantización y Decodificación especulativa. Si eliges una instancia que usa silicio personalizado, como la instancia de AWS Inferentia ml.inf2.8xlarge, la técnica admitida es la compilación, que puedes usar para compilar el modelo para ese tipo de hardware específico.

2. Seleccione una o varias de las técnicas de optimización que Studio proporciona:

   • Si selecciona Cuantización, elija un tipo de datos para la opción Tipo de datos de precisión.

   • Si selecciona Decodificación especulativa, elija una de las siguientes opciones:

     • Utilice un modelo de borrador de SageMaker IA: elija usar el modelo de borrador que proporciona la IA. SageMaker

       nota

       Si opta por utilizar el modelo de borrador de SageMaker IA, también debe habilitar el aislamiento de la red. Studio ofrece esta opción en Seguridad.

     • Elegir JumpStart borrador del modelo: elija seleccionar un modelo del JumpStart catálogo para usarlo como borrador del modelo.

     • Elegir su propio modelo de borrador: elija su propio modelo de borrador y proporcione el URI de S3 en el que se encuentra.

   • Si selecciona Carga rápida del modelo, Studio muestra la variable de entorno OPTION_TENSOR_PARALLEL_DEGREE. Utilice el campo Valor para establecer el grado de paralelismo de tensores. El valor debe dividir GPUs en partes iguales el número de instancias que haya elegido como tipo de instancia de despliegue. Por ejemplo, para fragmentar el modelo mientras usas una instancia con 8 GPUs, usa los valores 2, 4 u 8.

   • Si estableces el tipo de instancia de despliegue en una instancia de AWS Inferentia o AWS Trainium, Studio podría mostrar que la compilación es la única opción admitida. En tal caso, Studio selecciona esta opción automáticamente.

3. En Salida, introduzca el URI de una ubicación de Amazon S3. Allí, la SageMaker IA almacena los artefactos del modelo optimizado que crea tu trabajo.

4. (Opcional) Amplíe Opciones avanzadas para obtener un control más pormenorizado de la configuración, como, por ejemplo, el rol de IAM, la VPC y las variables de entorno. Para obtener más información, consulte a continuación Opciones avanzadas.

5. Cuando haya terminado de configurar el trabajo, seleccione Crear trabajo.

   Studio muestra la página de detalles del trabajo, que muestra el estado del trabajo y todos sus ajustes.

Configuración de un proyecto

1. En el código de la aplicación, importe las bibliotecas necesarias. En el ejemplo siguiente se importa el SDK para Python (Boto3). También importa las clases del SDK de Python para SageMaker IA que se utilizan para definir los modelos y trabajar con ellos:

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session
   from pathlib import Path

2. Inicializa una sesión de SageMaker IA. En este ejemplo se usa la clase Session():

   sagemaker_session = Session()

Definición de un modelo

1. Cree una instancia de SchemaBuilder y proporcione ejemplos de entrada y salida. Al definir un modelo, debe proporcionar esta instancia a la clase ModelBuilder. Con él, la SageMaker IA genera automáticamente las funciones de clasificación para serializar y deserializar la entrada y la salida.

   Para obtener más información sobre el uso de las clases SchemaBuilder y ModelBuilder, consulte Creación de un modelo en Amazon SageMaker AI con ModelBuilder.

   En el ejemplo siguiente se proporcionan ejemplos de cadenas de entrada y salida para la clase SchemaBuilder:

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. Defina su modelo según la IA. SageMaker En el ejemplo siguiente se definen los parámetros para inicializar una instancia de ModelBuilder:

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   En este ejemplo se utiliza un JumpStart modelo. jumpstart-model-idSustitúyalo por el identificador de un JumpStart modelo, por ejemplometa-textgeneration-llama-3-70b.

   nota

   Si quiere optimizar con una decodificación especulativa y quiere utilizar el borrador de SageMaker IA, debe habilitar el aislamiento de la red. Para habilitarlo, incluya el siguiente argumento al inicializar una instancia ModelBuilder:

   enable_network_isolation=True,

   Para obtener más información acerca del aislamiento de la red, consulte Aislamiento de red.

Optimización con la cuantización

1. Para ejecutar un trabajo de cuantización, utilice el método optimize() y establezca el argumento quantization_config. En el siguiente ejemplo se establece OPTION_QUANTIZE como una variable de entorno en el contenedor de optimización:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   En este ejemplo, sustituya instance-type por una instancia de ML, como ml.p4d.24xlarge. Sustituya s3://output-path por la ruta a la ubicación de S3 en la que se almacena el modelo optimizado que crea el trabajo.

   El método optimize() devuelve un objeto Model, que puede utilizar para implementar el modelo en un punto de conexión.

2. Cuando se complete el trabajo, implemente el modelo. En el siguiente ejemplo se utiliza el método deploy():

   predictor = optimized_model.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   En este ejemplo, sustituya instance-type por una instancia de ML, como ml.p4d.24xlarge.

   El método deploy() devuelve un objeto predictor, que puede utilizar para enviar solicitudes de inferencia al punto de conexión que aloja el modelo.

Para optimizar con la decodificación especulativa, utilice el borrador del modelo SageMaker AI

Cuando optimizas tu modelo con decodificación especulativa, puedes optar por usar un borrador de modelo proporcionado por la SageMaker IA o puedes usar el tuyo propio. En los ejemplos siguientes se utiliza el modelo preliminar de SageMaker IA.

1. Para ejecutar un trabajo de decodificación especulativa, utilice el método optimize() y establezca el argumento speculative_decoding_config. El siguiente ejemplo establece la ModelProvider clave SAGEMAKER para utilizar el borrador del modelo que proporciona la SageMaker IA.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   En este ejemplo, sustituya instance-type por una instancia de ML, como ml.p4d.24xlarge.

   El método optimize() devuelve un objeto Model, que puede utilizar para implementar el modelo en un punto de conexión.

2. Cuando se complete el trabajo, implemente el modelo. En el siguiente ejemplo se utiliza el método deploy():

   predictor = optimized_model.deploy(accept_eula=True)

   El método deploy() devuelve un objeto predictor, que puede utilizar para enviar solicitudes de inferencia al punto de conexión que aloja el modelo.

Optimización con la decodificación especulativa mediante un modelo de borrador personalizado

Antes de poder proporcionar su borrador de modelo personalizado a SageMaker AI, primero debe cargar los artefactos del modelo en Amazon S3.

En los siguientes ejemplos se muestra una forma posible de proporcionar un modelo de borrador personalizado. En los ejemplos se descarga el modelo de borrador del Hugging Face Hub, se carga en Amazon S3 y se proporciona el URI de S3 al argumento speculative_decoding_config.

1. Si quiere descargar un modelo del Hugging Face Hub, añada la biblioteca huggingface_hub a su proyecto y descargue un modelo con el método snapshot_download(). En el siguiente ejemplo se descarga un modelo en un directorio local:

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   En este ejemplo, sustituya model-id por el ID de un modelo, el Hugging Face Hub, como meta-llama/Meta-Llama-3-8B. Sustituya download-dir por un directorio local. Sustituya hf-access-token por su token de acceso de usuario. Para obtener información sobre cómo obtener su token de acceso, consulte User access tokens en la documentación de Hugging Face.

   Para obtener más información sobre la biblioteca huggingface_hub, consulte Hub client library en la documentación de Hugging Face.

2. Para que el modelo descargado esté disponible para SageMaker AI, cárguelo en Amazon S3. En el siguiente ejemplo se carga el modelo con el objeto sagemaker_session:

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   En este ejemplo, sustituya prefix por un calificador que le ayude a distinguir el modelo de borrador en S3, como spec-dec-custom-draft-model.

   El método upload_data() devuelve el URI de S3 de los artefactos del modelo.

3. Para ejecutar un trabajo de decodificación especulativa, utilice el método optimize() y establezca el argumento speculative_decoding_config. En el siguiente ejemplo se establece la clave ModelSource del URI de S3 del modelo de borrador personalizado:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   En este ejemplo, sustituya instance-type por una instancia de ML, como ml.p4d.24xlarge.

   El método optimize() devuelve un objeto Model, que puede utilizar para implementar el modelo en un punto de conexión.

4. Cuando se complete el trabajo, implemente el modelo. En el siguiente ejemplo se utiliza el método deploy():

   predictor = optimized_model.deploy(accept_eula=True)

   El método deploy() devuelve un objeto predictor, que puede utilizar para enviar solicitudes de inferencia al punto de conexión que aloja el modelo.

Optimización con la compilación

1. Para ejecutar un trabajo de compilación, utilice el método optimize() y establezca el argumento compilation_config. En el siguiente ejemplo se utiliza la clave OverrideEnvironment para establecer las variables de entorno necesarias en el contenedor de optimización:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   En este ejemplo, establezca instance-type en un tipo de instancia de ML con hardware acelerado. Por ejemplo, para AWS una inferencia acelerada con Inferentia, puede establecer el tipo en una instancia de Inf2, como. ml.inf2.48xlarge Sustituya s3://output-path por la ruta a la ubicación de S3 en la que se almacena el modelo optimizado que crea el trabajo.

2. Cuando se complete el trabajo, implemente el modelo. En el siguiente ejemplo se utiliza el método deploy():

   predictor = optimized_model.deploy(accept_eula=True)

   El método deploy() devuelve un objeto predictor, que puede utilizar para enviar solicitudes de inferencia al punto de conexión que aloja el modelo.

Prueba del modelo con una solicitud de inferencia

• Para enviar una solicitud de inferencia de prueba al modelo implementado, utilice el método predict() de un objeto predictor. En el siguiente ejemplo se pasa la variable sample_input que también se pasó a la clase SchemaBuilder en los ejemplos para definir el modelo:

  predictor.predict(sample_input)

  La entrada de muestra tiene la petición, "What is the largest planet in the solar system?". El método predict() devuelve la respuesta que generó el modelo, como se muestra en el siguiente ejemplo:

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}