Ajuste con precisión Nova 1.0

Requisitos previos

Antes de empezar un trabajo de entrenamiento, tenga en cuenta lo siguiente.

Preparación de datos

Preparar datos de alta calidad y con el formato adecuado es un primer paso fundamental en el proceso de refinamiento de los modelos de lenguaje de gran tamaño. Tanto si utiliza el refinamiento supervisado (SFT) como la optimización de preferencias directas (DPO), con enfoques de adaptación de rango completo o de rango bajo (LoRA), sus datos deben cumplir requisitos de formato específicos para garantizar un entrenamiento correcto del modelo. En esta sección se describen los formatos de datos, los métodos de validación y las prácticas recomendadas necesarias para ayudarle a preparar sus conjuntos de datos de forma eficaz para refinar los modelos de Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configuraciones SFT de rango completo y LoRA PEFT

En esta sección se ofrecen directrices sobre las configuraciones de fórmulas tanto para el refinamiento supervisado de rango completo (SFT) como para el refinamiento eficiente en parámetros de adaptación de rango bajo (LoRA PEFT). Estos archivos de fórmulas sirven como esquema para sus trabajos de personalización de modelos, permitiéndole especificar los parámetros de entrenamiento, los hiperparámetros y otros ajustes críticos que determinan cómo su modelo aprende de los datos. Para ajustar los hiperparámetros, siga las instrucciones de Selección de hiperparámetros.

Configuraciones de refinamiento (SFT de rango completo y LoRA PEFT)

La única diferencia entre la SFT de rango completo y la LoRA PEFT en términos de fórmula es la configuración de la LoRA PEFT, que se establece en "nula" para el rango completo y se establece en los valores adecuados si se utiliza un refinamiento basado en LoRA PEFT. Hay ejemplos de recetas disponibles en el repositorio de recetas. SageMaker HyperPod GitHub En las siguientes tablas se muestran configuraciones detalladas que pueden resultarle de utilidad.

Acerca de la configuración "run".

Acerca de la configuración "training_config".

Configuraciones específicas del refinamiento (DPO)

La única diferencia entre la optimización de preferencias directas (DPO) y la PEFT de LoRa y la FullRank SFT radica en la configuración de dpo_cfg y los valores permitidos. Consulte la tabla que aparece a continuación para conocer el ejemplo permitido específicamente para la DPO. Hay ejemplos de recetas disponibles en el repositorio de recetas. SageMaker HyperPod GitHub En la siguiente tabla se muestran configuraciones detalladas que pueden resultarle útiles.

¿Utilizas un modelo Nova personalizado en trabajos de SageMaker entrenamiento

En esta sección se muestra cómo ejecutar un modelo Nova personalizado en trabajos de SageMaker formación a través de un entorno de portátiles Jupyter. Encontrará un ejemplo completo que explica el proceso de configuración y lanzamiento de un trabajo de formación, junto con tablas de referencia para seleccionar las configuraciones de imagen URIs e instancia del contenedor adecuadas. Este enfoque le proporciona un control programático sobre sus flujos de trabajo de ajuste y, al mismo tiempo, aprovecha la infraestructura gestionada para SageMaker personalizar los modelos. Para obtener más información, consulte Utilizar un estimador de SageMaker IA para realizar un trabajo de formación.

Tablas de referencia

Antes de ejecutar el cuaderno de muestra, consulte las siguientes tablas para seleccionar las configuraciones de imagen URIs e instancia del contenedor adecuadas.

Selección de la URI de la imagen

Selección del tipo y el recuento de instancias

Cuaderno de ejemplo

En el siguiente ejemplo de cuaderno se muestra cómo ejecutar un trabajo de entrenamiento. Para obtener más cuadernos de introducción sobre cómo personalizar los modelos Nova mediante trabajos de entrenamiento de SageMaker IA, consulte Usar un estimador de SageMaker IA para ejecutar un trabajo de entrenamiento.

# 1. Install dependencies

!pip install sagemaker==2.254.1

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

Consejos de optimización de hiperparámetros

Para refinar de forma eficaz el modelo de Nova LLM, es necesario seleccionar cuidadosamente los hiperparámetros. Aunque en esta sección se explican la estructura y los componentes básicos de la fórmula, la optimización de los hiperparámetros para su caso de uso específico suele requerir orientación adicional. Para obtener recomendaciones exhaustivas sobre la selección de hiperparámetros, las prácticas recomendadas y las estrategias de optimización, consulte Selección de hiperparámetros. Este recurso proporciona una guía detallada sobre cómo seleccionar las tasas de aprendizaje, los tamaños de los lotes, las épocas de entrenamiento y otros parámetros críticos adecuados en función de las características del conjunto de datos y los objetivos de entrenamiento. Recomendamos consultar esta guía al refinar la configuración de la fórmula para lograr un rendimiento óptimo del modelo.

Para obtener más información sobre los valores mínimos, máximos y predeterminados de las épocas, la tasa de aprendizaje y los pasos de calentamiento del aprendizaje, consulte Hiperparámetros para modelos de comprensión.

Modificaciones comunes de las fórmulas

Estos son algunos ajustes comunes de las fórmulas en función de casos de uso específicos: