Ajustando os modelos do Amazon Nova usando SageMaker trabalhos de treinamento

O ajuste fino dos modelos do Amazon Nova com trabalhos de SageMaker treinamento oferece uma maneira poderosa de personalizar modelos básicos para seus casos de uso específicos.

Pré-requisitos

Antes de iniciar um trabalho de treinamento, observe o seguinte.

Preparação de dados

Preparar dados de alta qualidade e formatados adequadamente é uma primeira etapa essencial no processo de ajuste fino para grandes modelos de linguagem. Se você estiver usando abordagens de ajuste fino supervisionado (SFT) ou Otimização de Preferência Direta (DPO), com abordagens de adaptação completa ou baixa classificação (LoRa), seus dados devem cumprir requisitos de formato específicos para garantir o sucesso do treinamento do modelo. Esta seção descreve os formatos de dados, os métodos de validação e as melhores práticas necessários para ajudá-lo a preparar seus conjuntos de dados de forma eficaz para ajustar os modelos do Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configurações SFT e LoRa PEFT de classificação completa

Esta seção aborda orientações sobre configurações de receitas para abordagens de ajuste fino supervisionado (SFT) de classificação completa e ajuste fino eficiente de parâmetros de adaptação (LoRa PEFT). Esses arquivos de receita servem como modelo para seus trabalhos de personalização de modelos, permitindo que você especifique parâmetros de treinamento, hiperparâmetros e outras configurações críticas que determinam como seu modelo aprende com seus dados. Para ajustar os hiperparâmetros, siga as diretrizes em Seleção de hiperparâmetros.

Configurações de ajuste fino (Full-rank SFT e LoRa PEFT)

A única diferença entre SFT de classificação completa e LoRa PEFT em termos de receita é a configuração LoRa PEFT, que é definida como 'nula' para classificação completa e definida com valores apropriados se estiver usando o ajuste fino baseado em LoRa PEFT. Exemplos de receitas estão disponíveis no GitHub repositório de SageMaker HyperPod receitas. As tabelas a seguir mostram configurações detalhadas que podem ser úteis.

Sobre a configuração de “execução”.

Sobre a configuração “training_config”.

Ajustando configurações específicas (DPO)

A única diferença entre a Otimização de Preferência Direta (DPO) em comparação com LoRa PEFT e FullRank SFT é em termos de configuração de dpo_cfg e valores permitidos. Consulte a tabela abaixo do exemplo de permissões específicas para DPO. Exemplos de receitas estão disponíveis no GitHub repositório de SageMaker HyperPod receitas. A tabela a seguir mostra configurações detalhadas que podem ser úteis.

Executando um modelo Nova personalizado em trabalhos SageMaker de treinamento

Esta seção demonstra como executar um modelo Nova personalizado em trabalhos de SageMaker treinamento por meio de um ambiente de notebook Jupyter. Você encontrará um exemplo completo que mostra o processo de configuração e lançamento de um trabalho de treinamento, junto com tabelas de referência para selecionar a imagem de contêiner URIs e as configurações de instância apropriadas. Essa abordagem oferece controle programático sobre seus fluxos de trabalho de ajuste fino e, ao mesmo tempo, aproveita a infraestrutura gerenciada SageMaker da empresa para personalização do modelo. Para obter mais informações, consulte Usar um estimador de SageMaker IA para executar um trabalho de treinamento.

Tabelas de referência

Antes de executar o notebook de amostra, consulte as tabelas a seguir para selecionar a imagem do contêiner URIs e as configurações de instância apropriadas.

Seleção do URI da imagem

Seleção do tipo e da contagem de instâncias

Exemplo de bloco de notas

O exemplo de caderno a seguir demonstra como executar um trabalho de treinamento. Para obter mais cadernos de introdução sobre como personalizar modelos Nova usando trabalhos de treinamento de SageMaker IA, consulte Usar um estimador de SageMaker IA para executar um trabalho de treinamento.

# 1. Install dependencies

!pip install sagemaker

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

# 5. Monitor your training job
# To monitor your training job, you can either:
#  * Go to your AWS console -> Amazon Sagemaker AI -> Training -> Training Jobs
#  * run the following command

# sm.describe_training_job(TrainingJobName="<complete training job name>")

Guia de otimização de hiperparâmetros

O ajuste fino do seu modelo Nova LLM requer uma seleção cuidadosa dos hiperparâmetros. Embora esta seção explique a estrutura e os componentes básicos da receita, a otimização de hiperparâmetros para seu caso de uso específico geralmente requer orientação adicional. Para recomendações abrangentes sobre seleção de hiperparâmetros, melhores práticas e estratégias de otimização, consulte Seleção de hiperparâmetros. Esse recurso fornece orientação detalhada sobre como selecionar taxas de aprendizado, tamanhos de lote, épocas de treinamento e outros parâmetros críticos adequados com base nas características do conjunto de dados e nos objetivos do treinamento. Recomendamos consultar este guia ao ajustar a configuração da receita para obter o desempenho ideal do modelo.

Para obter detalhes sobre valores mínimos, máximos e padrão para épocas, taxa de aprendizado e etapas de aquecimento do aprendizado, consulte Hiperparâmetros para entender os modelos.

Modificações comuns na receita

Aqui estão alguns ajustes comuns de receitas com base em casos de uso específicos: