Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Continua e Pre-Training Mid-Training

Nova Forge CPT offre funzionalità avanzate oltre al CPT standard, incluso l'accesso a checkpoint intermedi e la combinazione dei dati con il corpus di pre-formazione di Nova. Queste funzionalità consentono un adattamento più efficiente del dominio e una migliore conservazione delle capacità generali del modello.

Cosa sono i checkpoint intermedi e perché sono necessari?

I checkpoint intermedi sono istantanee del modello Amazon Nova salvate in diverse fasi del pre-training, prima che il modello raggiunga lo stato finale pronto per la produzione. Durante lo sviluppo del modello, Amazon Nova viene sottoposto a diverse fasi di formazione: pre-formazione iniziale con un tasso di apprendimento costante, riduzione del tasso di apprendimento, formazione sull'estensione del contesto e infine formazione sull'allineamento e sulla sicurezza. Per il CPT, i checkpoint intermedi sono spesso preferibili al checkpoint finale di Prod perché sono più plastici e ricettivi all'adattamento del dominio. Il checkpoint Prod è stato sottoposto a una formazione approfondita sull'allineamento e sulla sicurezza, che ottimizza il modello per un uso conversazionale generale ma può renderlo resistente all'apprendimento di nuovi modelli specifici del dominio durante il CPT. Al contrario, i checkpoint che contengono solo testo parzialmente e completamente preformato mantengono le caratteristiche di pre-addestramento del modello. Non sono stati fortemente indirizzati verso comportamenti specifici, il che li rende punti di partenza più efficienti per l'adattamento al dominio. Quando si esegue un CPT su larga scala (token >10B), a partire da punti di controllo intermedi si ottiene in genere una convergenza più rapida, una migliore stabilità della formazione e un'acquisizione più efficace delle conoscenze di dominio. Tuttavia, per il CPT su piccola scala (<10B token) o quando è necessario preservare le funzionalità relative al rispetto delle istruzioni, il checkpoint Prod può essere più appropriato in quanto consente l'adattamento del dominio mantenendo inalterate le capacità conversazionali del modello.

Per il CPT sono necessari più checkpoint intermedi perché offrono diversi livelli di plasticità del modello che influiscono sull'efficienza con cui il modello può assorbire nuove conoscenze di dominio. L'ultimo checkpoint di Prod è stato sottoposto a una formazione approfondita sull'allineamento e sulla sicurezza, che lo ottimizza per un uso conversazionale generale ma lo rende resistente all'apprendimento di nuovi modelli specifici del dominio. In altre parole, è stato rafforzato durante il post-training. Al contrario, i checkpoint precedenti mantengono le caratteristiche preliminari del modello e non sono stati fortemente orientati verso comportamenti specifici, rendendoli più plastici e ricettivi all'adattamento al dominio.

Per ottenere la migliore efficienza della formazione, vengono forniti più checkpoint intermedi.

Quali punti di controllo sono disponibili?

Nova 1.0

La famiglia Amazon Nova 1.0 è composta da tre modelli (Micro, Lite, Pro) e per ogni modello sono disponibili tre punti di controllo.

Nova 2.0

Esistono tre checkpoint di Amazon Nova Lite 2.0.

La tabella seguente illustra le diverse condizioni per la formazione pre e intermedia.

Quale checkpoint usare?

I checkpoint con solo testo parzialmente preformato e solo testo completamente preformato in genere convergono più velocemente e richiedono meno passaggi di formazione per l'adattamento del dominio. Tuttavia, non devono modificare le istruzioni e dovrebbero sottoporsi a fasi successive alla formazione per essere in grado di eseguire attività utili e seguire le istruzioni. Il checkpoint GA potrebbe richiedere ulteriori passaggi per adattarsi, ma fornisce un punto di partenza più sicuro per esperimenti su piccola scala e ne manterrà alcune funzionalità anche dopo l'addestramento al CPT.

In generale, con set di dati di addestramento di grandi dimensioni (>10B token), iniziate da checkpoint di solo testo parzialmente preaddestrato o completamente preaddestrato per una formazione più efficiente e stabile, poiché la base di conoscenza del modello verrà modificata in modo sostanziale. Con set di dati di piccole dimensioni (<10B token), utilizzate il checkpoint GA per preservare le capacità di seguire le istruzioni adattandovi al contempo al dominio.

Come utilizzare la miscelazione dei dati per i modelli 1.0 o 2.0?

Quando si esegue il CPT con nuovi dati di dominio, è molto utile combinare i nuovi dati con alcuni dei dati utilizzati in precedenza nella fase di pre-addestramento del modello. La combinazione di vecchi dati con nuovi dati di dominio risolve due problemi:

Funzionalità di miscelazione dei dati Nova CPT

L'accesso ai dati e ai checkpoint di pre-formazione di Amazon Nova è una delle offerte principali della personalizzazione del CPT di Amazon Nova. La personalizzazione del CPT di Amazon Nova consente di combinare facilmente i dati di dominio con il corpus di pre-formazione di Amazon Nova. Inoltre, è possibile modificare il rapporto di campionamento delle specifiche categorie di dati di Amazon Nova (ad esempio codice, matematica, ragionamento, ecc.) e controllarne le proporzioni per integrare i dati di dominio. Ciò consente di rafforzare le funzionalità in linea con il caso d'uso adattando al contempo il modello al dominio specifico.

Individuazione del rapporto di miscelazione ottimale

Il rapporto ottimale tra dati di Amazon Nova e dati di dominio dipende dal dominio del set di dati, dalla complessità, dalle dimensioni, dalla qualità e dall'importanza di mantenere le funzionalità generali. Questo rapporto deve essere scoperto attraverso la sperimentazione. Di seguito è riportato un framework sperimentale per decidere quanti dati Amazon Nova combinare.

Seleziona un sottoinsieme rappresentativo di dati di dominio (ad esempio, token 5B) e mantienilo costante in tutte le esecuzioni sperimentali.

Esegui esperimenti CPT su piccola scala variando solo la quantità di dati Amazon Nova combinati in:

Valuta ogni checkpoint nei benchmark interni e generali del dominio. Valuta anche il checkpoint iniziale (il checkpoint di Amazon Nova prima di qualsiasi formazione).

Una volta identificato il rapporto di miscelazione ottimale, esegui il CPT su vasta scala utilizzando il set di dati di dominio completo con il rapporto di miscelazione selezionato.

Sezionare le categorie di miscelazione dei dati

Di seguito analizziamo ciascuna categoria disponibile in Data Mixing, per consentirti di prendere la decisione migliore su quali categorie di dati ha più senso rappresentare nella tua combinazione complessiva di dati.

Come abilitare il Data Mixing

Aggiungi la data_mixing sezione alla tua ricetta con la distribuzione percentuale appropriata tra le categorie di set di dati. La somma delle nova_data percentuali deve essere 100.

Configurazione Nova 1.0 con miscelazione dei dati

run:
  name: "cpt-job-name"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"
  replicas: 4 
  data_s3_path: "s3://path/to/data/xyz.jsonl"
  output_s3_path: "s3://path/to/output/checkpoint"
  
skip_recipe_validation: true
training_config:
  max_length: 32768
  global_batch_size: 64
  trainer:
    max_steps: 5000
  model:
    hidden_dropout: 0.1
    attention_dropout: 0.1
    ffn_dropout: 0.1
    optim:
      lr: 1.5e-05
      name: distributed_fused_adam
      adam_w_mode: true
      eps: 1.0e-06
      weight_decay: 0.05
      betas:
      - 0.9
      - 0.999
      sched:
        warmup_steps: 500
        constant_steps: 0
        min_lr: 1.5e-06
        
data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:
      en-entertainment: 0.11%
      en-factual: 4.83%
      en-legal: 0.48%
      en-long-form-text: 6.26%
      en-mined: 16.79%
      en-other: 1.79%
      en-scientific: 10.53%
      en-social: 12.43%
      en-techqa: 13.95%
      code: 7.50%
      high-util-lang: 8.05%
      low-util-lang: 6.51%
      math: 8.76%
      en-finance: 1%
      tables: 1%
    customer_data:
      percent: 90

Cosa significano queste categorie

Configurazione Nova 2.0 con miscelazione dei dati

# Note:
# This recipe can run on p5.48xlarge

# Run config
display_name: "Nova Lite Pretrain on P5 GPU"
versions: ["2.0"]
instance_types: ["ml.p5.48xlarge"]

run:
  name: "my-cpt-run"     # A descriptive name for your training job
  model_type: "amazon.nova-2-lite-v1:0:256k" # Model variant specification, do not change
  model_name_or_path: "nova-lite-2/prod" # Base model path, do not change
  replicas: 8       # Number of compute instances for training, allowed values are 4, 8, 16, 32
  data_s3_path: ""       # Customer data paths
  validation_data_s3_path: ""        # Customer validation data paths
  output_s3_path: ""   # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs

## Training specific configs
training_config:
  task_type: cpt
  max_length: 8192              # Maximum context window size (tokens)
  global_batch_size: 64        # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_steps: 10               # The number of training steps to run total
    val_check_interval: 10      # The number of steps between running validation
    limit_val_batches: 2        # Batches of the validation set to use each trigger

  model:
    hidden_dropout: 0.0           # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0        # Dropout for attention weights, must be between 0.0 and 1.0

  optim:
    optimizer: adam
    lr: 1e-5                      # Learning rate
    name: distributed_fused_adam  # Optimizer algorithm, do not change
    adam_w_mode: true             # Enable AdamW mode
    eps: 1e-06                    # Epsilon for numerical stability
    weight_decay: 0.0             # L2 regularization strength, must be between 0.0 and 1.0
    adam_beta1: 0.9               # Beta1 for Adam optimizer
    adam_beta2: 0.95              # Beta2 for Adam optimizer
    sched:
      warmup_steps: 10            # Learning rate warmup steps
      constant_steps: 0           # Steps at constant learning rate
      min_lr: 1e-6                # Minimum learning rate, must be lower than lr

data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:   # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
      agents: 20
      business-and-finance: 4
      scientific: 10
      code: 5
      factual-and-news: 5
      longform-text: 6
      health-and-medicine: 1
      humanities-and-education: 1
      legal: 1
      math: 9
      additional-languages: 15
      social-and-personal-interest: 11
      entertainment: 0.5
      reasoning: 10
      other: 0.5
      tables: 1
    customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
      percent: 25

Cosa significano queste categorie

Nota: Nova 2.0 include categorie aggiuntive specifiche per il ragionamento (ad esempio, reasoning-codereasoning-math,reasoning-instruction-following) che non sono disponibili in Nova 1.0.

Riepilogo delle categorie e delle etichette informative:

Guida ai parametri

Il numero totale di token utilizzati nella formazione può essere calcolato da * * max_length global_batch_size max_steps

Limitazioni

L'attuale CPT supporta solo dati di testo e non supporta set di dati multimodali dei clienti.