Ottimizza Nova 1.0

Prerequisiti

Prima di avviare un job di addestramento, verifica i seguenti requisiti.

Preparazione dei dati

La preparazione di dati di alta qualità e formattati correttamente è una fase fondamentale nel processo di fine-tuning di modelli linguistici di grandi dimensioni. Che si utilizzi il fine-tuning supervisionato (SFT, Supervised Fine-Tuning) o l’ottimizzazione diretta delle preferenze (DPO, Direct Preference Optimization), con approcci a dimensionalità completa e LoRA (Low-Rank Adaptation), i dati devono rispettare requisiti di formato specifici per garantire un addestramento dei modelli efficace. Questa sezione descrive i formati di dati, i metodi di convalida e le best practice necessari per preparare i set di dati in modo efficace per il fine-tuning dei modelli Amazon Nova.

// N-1 turns same as SFT format
{
    "role": "assistant",
    "candidates": [
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "preferred"
        },
        {
            "content": [
                {
                    "text": "..."
                } // content list can contain multiple 'text' objects
            ],
            "preferenceLabel": "non-preferred"
        }
    ]
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        }, 
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

{
    "system": [ 
        {
            "text": "..." 
        } 
    ],
    "messages":[
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "..."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "..."
                },
                {
                    "text": "..."
                },
                {
                    "image": {
                        "format": "jpeg",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.jpg",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                } // "content" can have multiple "text" and "image" objects. 
                 // max image count is 10
            ]
        },           
        {
            "role": "assistant",
            "candidates": [
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "preferred"
                },
                {
                    "content": [
                        {
                            "text": "..."
                        }
                    ],
                    "preferenceLabel": "non-preferred"
                }
            ]
        }
    ],
}

Configurazioni SFT a dimensionalità completa e PEFT LoRA

Questa sezione fornisce indicazioni sulle configurazioni delle ricette per gli approcci di fine-tuning supervisionato (SFT, Supervised Fine-Tuning) a dimensionalità completa e fine-tuning efficiente in termini di parametri (PEFT, Parameter-Efficient Fine-Tuning) LoRA (Low-Rank Adaptation). Questi file di ricette fungono da blueprint per i processi di personalizzazione dei modelli e consentono di specificare parametri di addestramento, iperparametri e altre impostazioni critiche che determinano il modo in cui il modello apprende dai dati. Per regolare gli iperparametri, segui le linee guida in Selecting hyperparameters.

Configurazioni di fine-tuning (SFT a dimensionalità completa e PEFT LoRA)

L’unica differenza tra SFT a dimensionalità completa e PEFT LoRA in termini di ricetta è la configurazione PEFT LoRA, che è impostata su “null” per la dimensionalità completa e sui valori appropriati in caso di utilizzo di fine-tuning basato su PEFT LoRA. Ricette di esempio sono disponibili nell'archivio delle ricette. SageMaker HyperPod GitHub Le tabelle seguenti mostrano configurazioni dettagliate che potrebbero risultare utili.

Informazioni sulla configurazione “run”.

Informazioni sulla configurazione “training_config”.

Configurazioni specifiche per il fine-tuning (DPO)

L'unica differenza tra Direct Preference Optimization (DPO) rispetto a LoRa PEFT e FullRank SFT è in termini di configurazione di dpo_cfg e valori consentiti. Fai riferimento alla tabella seguente (esempio) per informazioni sui valori consentiti specificamente per DPO. Ricette di esempio sono disponibili nell'archivio delle ricette. SageMaker HyperPod GitHub La tabella seguente mostra configurazioni dettagliate che potrebbero risultare utili.

Esecuzione di un modello Nova personalizzato durante i lavori SageMaker di formazione

Questa sezione mostra come eseguire un modello Nova personalizzato su lavori di SageMaker formazione tramite un ambiente notebook Jupyter. Troverai un esempio completo che illustra il processo di configurazione e avvio di un processo di formazione, insieme a tabelle di riferimento per la selezione dell'immagine del contenitore e delle configurazioni di istanza appropriate. URIs Questo approccio offre il controllo programmatico sui flussi di lavoro di ottimizzazione, sfruttando al contempo l'infrastruttura gestita di cui dispone per la personalizzazione dei modelli. SageMaker Per ulteriori informazioni, consulta Utilizzare uno stimatore di SageMaker intelligenza artificiale per eseguire un processo di formazione.

Tabelle di riferimento

Prima di eseguire il notebook di esempio, consulta le seguenti tabelle per selezionare l'immagine del contenitore URIs e le configurazioni dell'istanza appropriate.

Selezione dell’URI delle immagini

Selezione del tipo e del numero di istanze

Notebook di esempio

Il seguente notebook di esempio mostra come eseguire un job di addestramento. Per altri taccuini introduttivi su come personalizzare i modelli Nova utilizzando i processi di formazione basati sull' SageMaker intelligenza artificiale, consulta Utilizzare uno stimatore di intelligenza SageMaker artificiale per eseguire un processo di formazione.

# 1. Install dependencies

!pip install sagemaker==2.254.1

# 2. Import dependencies and initialize sagemaker session

import sagemaker,boto3

sm = boto3.client('sagemaker', region_name='us-east-1')
sagemaker_session = sagemaker.session.Session(boto_session=boto3.session.Session(), sagemaker_client=sm)

# 3. Configure your job
# Define the core configuration for launching a SageMaker Training Job. This includes input/output S3 URIs, container image, hardware setup, and other runtime parameters. Update the placeholders below before submitting the job.

job_name = "<Your Job Name>"

input_s3_uri = "<S3 path to input data>"
validation_s3_uri = "<S3 path to validation data>" # optional, leave blank if no validation data

output_s3_uri = "<S3 path to output location>"

image_uri = "<Image URI from documentation>" # you can choose the image for SFT/DPO
instance_type = "ml.p5.48xlarge" # do not change
instance_count = <Integer number of hosts> # change hosts as needed. Refer to documentation for allowed values based on model type.
role_arn = "<IAM Role you want to use to run the job>"
recipe_path = "<Local path to the recipe file>"

# 4. Launch SageMaker Training Job
# This block sets up and runs the SageMaker training job using the PyTorch estimator. It configures the training image, hardware, input channels, and TensorBoard integration. Validation data is included if provided.

from sagemaker.debugger import TensorBoardOutputConfig
from sagemaker.pytorch import PyTorch
from sagemaker.inputs import TrainingInput

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=output_s3_uri,
)

estimator = PyTorch(
    output_path=output_s3_uri,
    base_job_name=job_name,
    role=role_arn,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe_path,
    sagemaker_session=sagemaker_session,
    image_uri=image_uri,
    tensorboard_output_config=tensorboard_output_config, # Add the setting for using TensorBoard.
    disable_profiler=True,                                
    debugger_hook_config=False                            
)

trainingInput = TrainingInput(
    s3_data=input_s3_uri,
    distribution='FullyReplicated',
    s3_data_type='Converse'
)

if (validation_s3_uri):
    validationInput = TrainingInput(
        s3_data=validation_s3_uri,
        distribution='FullyReplicated',
        s3_data_type='Converse'
    )

    estimator.fit(inputs={"train": trainingInput, "validation": validationInput}) # inputs must be called "train" and "validation", do not change
else:
    estimator.fit(inputs={"train": trainingInput})

Indicazioni di ottimizzazione degli iperparametri

Il fine-tuning di un modello linguistico di grandi dimensioni (LLM, Large Language Model) Nova richiede un’attenta selezione degli iperparametri. Sebbene questa sezione spieghi la struttura e i componenti di base della ricetta, l’ottimizzazione degli iperparametri per un caso d’uso specifico richiede spesso ulteriori indicazioni. Per consigli completi sulla selezione degli iperparametri, sulle best practice e sulle strategie di ottimizzazione, consulta Selecting hyperparameters. Questa risorsa fornisce indicazioni dettagliate sulla selezione dei tassi di apprendimento, sulle dimensioni dei batch, sulle epoch di formazione e su altri parametri critici appropriati in base alle caratteristiche del set di dati e agli obiettivi di addestramento. È consigliabile consultare questa guida durante il fine-tuning della configurazione di una ricetta per ottenere prestazioni ottimali del modello.

Per dettagli sui valori minimo, massimo e predefinito per le epoch, il tasso di apprendimento e le fasi di riscaldamento dell’apprendimento, consulta Hyperparameters for Understanding models.

Modifiche comuni alle ricette

Ecco alcune modifiche comuni alle ricette in base a casi d’uso specifici: