Ottimizzazione dei modelli SageMaker Amazon Nova tramite processi di formazione

L'ottimizzazione dei modelli Amazon Nova SageMaker con lavori di formazione offre un modo efficace per personalizzare i modelli di base per i tuoi casi d'uso specifici.

Prerequisiti

Prima di iniziare un corso di formazione, tieni presente quanto segue.

Preparazione dei dati

La preparazione di dati di alta qualità e formattati correttamente è un primo passo fondamentale nel processo di messa a punto di modelli linguistici di grandi dimensioni. Che si utilizzi il supervised fine-tuning (SFT) o la Direct Preference Optimization (DPO), con approcci full rank o low-rank adaptation (LoRa), i dati devono rispettare requisiti di formato specifici per garantire una formazione efficace dei modelli. Questa sezione descrive i formati di dati, i metodi di convalida e le best practice necessari per aiutarti a preparare i set di dati in modo efficace per la messa a punto dei modelli Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configurazioni SFT e LoRa PEFT complete

Questa sezione fornisce indicazioni sulle configurazioni delle ricette sia per gli approcci di regolazione di precisione con supervisione completa (SFT) che per gli approcci di ottimizzazione efficiente dei parametri di adattamento di basso livello (LoRa PEFT). Questi file di ricette fungono da modello per i processi di personalizzazione del modello e consentono di specificare parametri di addestramento, iperparametri e altre impostazioni critiche che determinano il modo in cui il modello apprende dai dati. Per regolare gli iperparametri, segui le linee guida in Selezione degli iperparametri.

Configurazioni di precisione (Full-Rank SFT e LoRa PEFT)

L'unica differenza tra SFT completo e LoRa PEFT in termini di ricetta è la configurazione LoRa PEFT, che è impostata su «null» per il rango completo e impostata sui valori appropriati se si utilizza la regolazione fine basata su LoRa PEFT. SageMaker HyperPod GitHub Ricette di esempio sono disponibili nell'archivio delle ricette. Le tabelle seguenti mostrano configurazioni dettagliate che potrebbero essere utili.

Informazioni sulla configurazione «run».

Informazioni sulla configurazione di «training_config».

Ottimizzazione di configurazioni specifiche (DPO)

L'unica differenza tra Direct Preference Optimization (DPO) rispetto a LoRa PEFT e FullRank SFT è in termini di configurazione di dpo_cfg e valori consentiti. Fate riferimento alla tabella seguente (esempio) per informazioni su ciò che è consentito specificamente per DPO. Le ricette di esempio sono disponibili nell' GitHub archivio delle SageMaker HyperPod ricette. La tabella seguente mostra configurazioni dettagliate che potrebbero essere utili.

Esecuzione di un modello Nova personalizzato durante i lavori di SageMaker formazione

Questa sezione illustra come eseguire un modello Nova personalizzato sui lavori di SageMaker formazione tramite un ambiente notebook Jupyter. Troverai un esempio completo che illustra il processo di configurazione e avvio di un processo di formazione, insieme a tabelle di riferimento per la selezione dell'immagine del contenitore e delle configurazioni di istanza appropriate. URIs Questo approccio offre il controllo programmatico sui flussi di lavoro di ottimizzazione, sfruttando al contempo l'infrastruttura gestita per la personalizzazione dei modelli. SageMaker Per ulteriori informazioni, consulta Utilizzare uno stimatore di SageMaker intelligenza artificiale per eseguire un processo di formazione.

Tabelle di riferimento

Prima di eseguire il notebook di esempio, fate riferimento alle seguenti tabelle per selezionare l'immagine del contenitore URIs e le configurazioni dell'istanza appropriate.

Selezione dell'URI dell'immagine

Selezione del tipo e del numero di istanze

Notebook di esempio

Il seguente taccuino di esempio mostra come eseguire un processo di formazione. Per altri taccuini introduttivi su come personalizzare i modelli Nova utilizzando i processi di formazione basati sull' SageMaker intelligenza artificiale, consulta Utilizzare uno stimatore di SageMaker intelligenza artificiale per eseguire un processo di formazione.

# 1. Install dependencies

!pip install sagemaker

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

# 5. Monitor your training job
# To monitor your training job, you can either:
#  * Go to your AWS console -> Amazon Sagemaker AI -> Training -> Training Jobs
#  * run the following command

# sm.describe_training_job(TrainingJobName="<complete training job name>")

Guida all'ottimizzazione degli iperparametri

La messa a punto del modello Nova LLM in modo efficace richiede un'attenta selezione degli iperparametri. Sebbene questa sezione spieghi la struttura e i componenti di base della ricetta, l'ottimizzazione degli iperparametri per un caso d'uso specifico spesso richiede ulteriori indicazioni. Per consigli completi sulla selezione degli iperparametri, sulle migliori pratiche e sulle strategie di ottimizzazione, consulta Selezione degli iperparametri. Questa risorsa fornisce indicazioni dettagliate sulla selezione dei tassi di apprendimento, delle dimensioni dei batch, delle epoche di formazione e di altri parametri critici appropriati in base alle caratteristiche del set di dati e agli obiettivi di formazione. Consigliamo di consultare questa guida per ottimizzare la configurazione della ricetta per ottenere prestazioni ottimali del modello.

Per dettagli sui valori minimo, massimo e predefinito per le epoche, la frequenza di apprendimento e le fasi di riscaldamento dell'apprendimento, consulta Hyperparameters for Understanding models.

Modifiche comuni alle ricette

Ecco alcune modifiche comuni alle ricette basate su casi d'uso specifici: