Ajustar o Nova 1.0

Pré-requisitos

Antes de iniciar uma tarefa de treinamento, observe o seguinte:

Preparação de dados

Preparar dados de alta qualidade e formatados adequadamente é uma etapa inicial essencial no processo de ajuste fino de grandes modelos de linguagem. Se você estiver usando ajuste fino supervisionado (SFT) ou otimização direta de preferências (DPO), com abordagens de adaptação de classificação completa ou de baixa classificação (LoRA), seus dados deverão aderir a requisitos de formato específicos para garantir o êxito do treinamento do modelo. Esta seção descreve os formatos de dados necessários, os métodos de validação e as práticas recomendadas para ajudar você a preparar conjuntos de dados de forma eficaz e ajustar modelos do Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [
        {
            "text": "..."
        }
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [
        {
            "text": "..."
        }
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects.
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects.
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configurações de SFT de classificação completa e PEFT LoRa

Esta seção aborda orientações sobre configurações de fórmulas para abordagens de ajuste fino supervisionado (SFT) de classificação completa e ajuste fino com eficiência de parâmetros com adaptação de baixa classificação (PEFT LoRa). Esses arquivos de fórmula servem como esquema para seus trabalhos de personalização de modelo, permitindo que você especifique parâmetros de treinamento, hiperparâmetros e outras configurações essenciais que determinam como o modelo aprende com os dados. Para ajustar os hiperparâmetros, siga as diretrizes em Selecionar hiperparâmetros.

Configurações de ajuste fino (SFT de classificação completa e PEFT LoRA)

A única diferença entre SFT de classificação completa e PEFT LoRa em termos de fórmula é a configuração PEFT LoRa, que é definida como “nula” para classificação completa e com valores apropriados se estiver usando o ajuste fino baseado em PEFT LoRa. Exemplos de fórmulas estão disponíveis no repositório de fórmulas do GitHub. As tabelas a seguir mostram configurações detalhadas que podem ser úteis.

Sobre a configuração “run”.

Sobre a configuração “training_config”.

Ajustar configurações específicas (DPO)

A única diferença entre a otimização direta de preferências (DPO) em comparação com PEFT LoRA e SFT de classificação completa refere-se à configuração de dpo_cfg e aos valores permitidos. Consulte a tabela abaixo do exemplo para ver as permissões específicas de DPO. Exemplos de fórmulas estão disponíveis no repositório de fórmulas do GitHub. A tabela a seguir mostra configurações detalhadas que podem ser úteis.

Executar um modelo Nova personalizado em tarefas de treinamento do SageMaker

Esta seção demonstra como executar um modelo Nova personalizado em tarefas de treinamento do SageMaker por meio de um ambiente de caderno Jupyter. Você encontrará um exemplo completo que mostra o processo de configuração e execução de uma tarefa de treinamento, com tabelas de referência para selecionar as configurações de instância e os URIs de imagem de contêiner apropriados. Essa abordagem oferece controle programático sobre seus fluxos de trabalho de ajuste fino e, ao mesmo tempo, utiliza a infraestrutura gerenciada do SageMaker AI para personalização de modelos. Para ter mais informações, consulte Usar um estimador do SageMaker AI para executar uma tarefa de treinamento.

Tabelas de referência

Antes de executar o caderno de amostra, consulte as tabelas a seguir para selecionar as configurações de instância e os URIs de imagem de contêiner apropriados.

Selecionar o URI da imagem

Selecionar o tipo e da contagem de instâncias

Exemplo de bloco de notas

O exemplo de caderno a seguir demonstra como executar uma tarefa de treinamento. Para ver outros cadernos de introdução sobre como personalizar modelos Nova usando tarefas de treinamento do SageMaker, consulte Usar um estimador do SageMaker AI para executar uma tarefa de treinamento.

# 1. Install dependencies

!pip install sagemaker==2.254.1

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"
output_kms_key = "<KMS key arn to encrypt trained model in Amazon-owned S3 bucket>" # optional, leave blank for Amazon managed encryption

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,
    debugger_hook_config=False,
    output_kms_key=output_kms_key
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

Orientação sobre otimização de hiperparâmetros

Para ajustar um LLM do Nova, é necessário selecionar cuidadosamente os hiperparâmetros. Embora esta seção explique a estrutura e os componentes básicos das fórmulas, a otimização de hiperparâmetros para seu caso de uso específico geralmente requer orientação adicional. Para ver recomendações abrangentes sobre seleção de hiperparâmetros, práticas recomendadas e estratégias de otimização, consulte Selecionar hiperparâmetros. Esse recurso oferece orientação detalhada sobre como selecionar taxas de aprendizado, tamanhos de lote, épocas de treinamento e outros parâmetros essenciais apropriados com base nas características do conjunto de dados e nos objetivos do treinamento. Recomendamos consultar este guia ao ajustar a configuração da fórmula para obter o desempenho ideal do modelo.

Para obter detalhes sobre valores mínimos, máximos e padrão para épocas, taxa de aprendizado e etapas de aquecimento do aprendizado, consulte Hiperparâmetros para modelos de compreensão.

Modificações comuns nas fórmulas

Veja abaixo alguns ajustes de fórmula comuns com base em casos de uso específicos: