Perfeccionamiento de los modelos de Amazon Nova mediante SageMaker trabajos de formación

El ajuste preciso de los modelos de Amazon Nova con tareas de SageMaker formación ofrece una forma eficaz de personalizar los modelos básicos para sus casos de uso específicos.

Requisitos previos

Antes de empezar un trabajo de formación, tenga en cuenta lo siguiente.

Preparación de datos

Preparar datos de alta calidad y con el formato adecuado es un primer paso fundamental en el proceso de ajuste de los modelos lingüísticos de gran tamaño. Ya sea que utilice el ajuste preciso supervisado (SFT) o la optimización de preferencias directas (DPO), con enfoques de clasificación completa o de adaptación de rango bajo (LoRa), sus datos deben cumplir requisitos de formato específicos para garantizar el éxito de la formación del modelo. En esta sección se describen los formatos de datos, los métodos de validación y las mejores prácticas necesarios para ayudarle a preparar sus conjuntos de datos de forma eficaz para ajustar los modelos de Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configuraciones SFT y LoRa PEFT de rango completo

En esta sección, se ofrecen instrucciones sobre las configuraciones de recetas tanto para el ajuste preciso supervisado (SFT) de rango completo como para el ajuste preciso de parámetros de adaptación de rango bajo (LoRa PEFT). Estos archivos de recetas sirven como modelo para sus trabajos de personalización de modelos, ya que le permiten especificar los parámetros de entrenamiento, los hiperparámetros y otros ajustes críticos que determinan la forma en que el modelo aprende de los datos. Para ajustar los hiperparámetros, siga las instrucciones de la sección Selección de hiperparámetros.

Configuraciones de ajuste preciso (SFT de rango completo y PEFT LoRa)

La única diferencia entre el SFT de rango completo y el PEFT de LoRa en términos de receta es la configuración del PEFT de LoRa, que se establece en «nulo» para el rango completo y se establece en los valores adecuados si se utiliza un ajuste fino basado en el PEFT de LoRa. Hay SageMaker HyperPod ejemplos GitHub de recetas disponibles en el repositorio de recetas. En las siguientes tablas se muestran configuraciones detalladas que pueden resultarle útiles.

Acerca de la configuración de «ejecución».

Acerca de la configuración «training_config».

Ajuste preciso de configuraciones específicas (DPO)

La única diferencia entre la optimización de preferencias directas (DPO) y la PEFT y la FullRank SFT de LoRa radica en la configuración de dpo_cfg y los valores permitidos. Consulte en la siguiente tabla el ejemplo para ver qué está permitido específicamente para el DPO. Hay ejemplos de recetas disponibles en el GitHub repositorio de SageMaker HyperPod recetas. La siguiente tabla muestra configuraciones detalladas que pueden resultarle útiles.

Utilización del modelo Nova personalizado en trabajos SageMaker de formación

En esta sección se muestra cómo ejecutar un modelo Nova personalizado en trabajos de SageMaker formación a través de un entorno de cuadernos Jupyter. Encontrará un ejemplo completo que explica el proceso de configuración y lanzamiento de un trabajo de formación, junto con tablas de referencia para seleccionar las configuraciones de imagen URIs e instancia del contenedor adecuadas. Este enfoque le proporciona un control programático sobre sus flujos de trabajo de ajuste y, al mismo tiempo, aprovecha la infraestructura gestionada para SageMaker personalizar los modelos. Para obtener más información, consulte Utilizar un estimador de SageMaker IA para realizar un trabajo de formación.

Tablas de referencia

Antes de ejecutar el cuaderno de muestra, consulte las tablas siguientes para seleccionar las configuraciones de imagen URIs e instancia del contenedor adecuadas.

Seleccionar el URI de la imagen

Seleccionar el tipo y el recuento de instancias

Cuaderno de ejemplo

El siguiente ejemplo de cuaderno muestra cómo ejecutar un trabajo de formación. Para obtener más cuadernos de introducción sobre cómo personalizar los modelos Nova mediante trabajos de entrenamiento de SageMaker IA, consulte Usar un estimador de SageMaker IA para ejecutar un trabajo de entrenamiento.

# 1. Install dependencies

!pip install sagemaker

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

# 5. Monitor your training job
# To monitor your training job, you can either:
#  * Go to your AWS console -> Amazon Sagemaker AI -> Training -> Training Jobs
#  * run the following command

# sm.describe_training_job(TrainingJobName="<complete training job name>")

Guía de optimización de hiperparámetros

Ajustar con precisión su modelo Nova LLM de manera efectiva requiere una selección cuidadosa de los hiperparámetros. Si bien en esta sección se explican la estructura y los componentes básicos de la receta, la optimización de los hiperparámetros para su caso de uso específico a menudo requiere orientación adicional. Para obtener recomendaciones exhaustivas sobre la selección de hiperparámetros, las mejores prácticas y las estrategias de optimización, consulte Selección de hiperparámetros. Este recurso proporciona una guía detallada sobre cómo seleccionar las tasas de aprendizaje, los tamaños de los lotes, las épocas de formación y otros parámetros críticos adecuados en función de las características del conjunto de datos y los objetivos de formación. Recomendamos consultar esta guía al ajustar la configuración de la receta para lograr un rendimiento óptimo del modelo.

Para obtener más información sobre los valores mínimos, máximos y predeterminados de las épocas, la tasa de aprendizaje y los pasos de calentamiento del aprendizaje, consulte Hiperparámetros para comprender los modelos.

Modificaciones comunes en las recetas

Estos son algunos ajustes comunes de las recetas en función de casos de uso específicos: